Obtención de datos para tu proyecto

Clase 10 de 33 • Curso Profesional de Computer Vision con TensorFlow

Edwin Cristian

student•

No sé como va a terminar este curso, pero hasta el momento es el TOP de todos los cursos que eh llevado. Por cierto gracias por el módulo de negocios y recomendaciones MUY BUENO

Rafael Rivera

student•

Cada ves se pone mas emocionante este curso, no esperaba el modulo del negocio como tal, muy bueno que lo hayan incluido.

y Adonai excelente profesor.

Dylan Santiago Lasso Guayara

student•

Hola Adonaí, muchas gracias por compartir tu conocimiento en esta clase. Tengo una pregunta referente al dataset. Estoy desarrollando un proyecto de identificación de rayones en productos con superficies metálicas, y para ello estoy en el proceso de elección de cámara para crear el dataset. Entonces quisiera saber si es necesario usar la misma cámara tanto para obtener los datos, como también para identificar en tiempo real después de entrenado el modelo... O en su defecto, pueden ser cámaras distintas?

Adonai Vera

teacher•

Hola Dylan Santiago, Excelente pregunta. Lo que siempre vamos a intentar es que tu modelo logre generalizar, y una muy buena forma de generalizar es que puedas obtener tu base de datos con diferentes cámaras, angulos, iluminaciones, brillo, etc. Sin embargo este es un proceso que puede llevar tiempo en recoger una base de datos con todas estas caracteristicas. Por esa razón, yo lo haria progresivamente, tomaria la base de datos con la misma cámara que se utilizara en producción para permitir de que el modelo tenga mayor accuracy (Entrenamiento sera MUY SIMILAR a testeo, provocara resultados buenos si el entrenamiento fue bueno); y entrenaria mi primer modelo, segun los resultados de estos modelos te pueden pasar dos cosas, que tu modelo sea demasiado bueno y que te des cuenta incluso de que puedes incorporar mas tipos de cámaras y que puedas ir mejorandolo progresivamenteme (Probarlo en multiples zonas, horas del día, etc). o que tu modelo sea muy malo e incluso te toque limitar aun mas el problema. (Cuando hablo de limitar es que te toque colocar parametros para el sistema en funcionamiento, ejemplo: para que el sistema sirva debe tomar la foto a 30 cm del emento a idenfiticar rayones, tomarlo en zonas cerradas y evitando el brillo del sol, etc etc), y despues de delimitarlo volveria a entrenarlo con la base de datos con esas caracteristicas y continuaria iterando.

Recuerda es mejor tener una ganancia pequeña, le muestres al cliente lo que puedes hacer con tu tecnologia y luego si empieces a iterar. (Cada problema que se resuelve con computer vision es un mundo diferente, esta prueba te servira mucho)

Me cuentas que tal, saludos

Dylan Santiago Lasso Guayara

student•

Hola Adonaí, buenos días. Mil gracias por atender mi mensaje y resolver mi inquietud. Con estas recomendaciones podré avanzar para crear el dataset. Por otro lado, me surgen un par de preguntas muy sencillas.

La primera es referente a las clases a manejar... En mi caso el objetivo es: (1) detectar si un producto tiene rayones o no, y, (2) si tiene rayones, localizar, en qué parte de la superficie se encuentra el rayón. Teniendo en cuenta esto, he considerado reunir (2) conjuntos de fotos: "superficies CON rayones" y "superficies SIN rayones"; por lo cual, serían 2 clases. ¿Quisiera saber si consideras conveniente manejarlo de esta manera?

Y la segunda pregunta, está relacionada con el modelo pre-entrenado que podría utilizar. Teniendo en cuenta el objetivo del proyecto en mención, crees que al igual sería bueno tomar como base "ssd_mobilenet_v2_fpnlite_320x320", o consideras que sería pertinente manejar otro modelo similar, ya existente?

Agradezco de antemano tu colaboración. Estaré pendiente, saludos.

Rommel Miller Huaraca Pocco

student•

Puedo procesar gran cantidad de datos con google coleb conectado a google drive?

Adonai Vera

teacher•

Hola Rommelmillerhuaracapocco, Claro que sí, puedes utilizar google drive para traer los datos a tu espacio de trabajo en google Colab, lo primero que debes hacer es conectarte a drive.

from google.colab import drive
drive.mount("/content/gdrive")

Luego buscas la ruta en donde tienes almacenados la base de datos y la cargas desde allá.

Recuerda que hay dos temas importantes, uno es la el almacenamiento de la base de datos y el otro es cuando vas a procesar la base de datos. El almacenamiento seria drive, sin embargo cuando vayas a cargar la base de datos se va a cargar en memoria RAM, es por eso que tienes que tener presente la capacidad de cómputo .

Me cuentas, si es claro Saludos

Ibon Tamayo

student•

No puedo ver recursos ni datos para descargar. Podrían ponerlos? gracias

Adonai Vera

teacher•

Hola Ibon, En los archivos de las clases las puedes obtener.

Sino te aparece, te recomiendo que cierres tu navegador y lo vuelvas a abrir. Saludos

Mario Alexander Vargas Celis

student•

La obtención de datos es uno de los pasos fundamentales en cualquier proyecto de visión computarizada, ya que el rendimiento del modelo depende en gran medida de la calidad y cantidad de los datos disponibles. Aquí tienes una guía para obtener datos de manera efectiva:

### 1. **Definir los requisitos del proyecto**

- Establece qué tipo de datos necesitas: imágenes, videos o secuencias de imágenes, y qué categorías o etiquetas serán relevantes. Por ejemplo, si tu proyecto es de detección de objetos en imágenes de tráfico, necesitarás imágenes de vehículos, peatones y señales de tráfico.

- Define el formato y la resolución de los datos, así como el número aproximado de ejemplos que necesitarás para el entrenamiento, validación y pruebas del modelo.

### 2. **Usar conjuntos de datos públicos**

- Existen numerosos conjuntos de datos públicos específicos para visión computarizada que pueden ser un excelente punto de partida, como:

- **COCO (Common Objects in Context)**: Un conjunto de datos grande con imágenes etiquetadas para detección de objetos, segmentación y keypoints.

- **ImageNet**: Muy popular en clasificación de imágenes, contiene millones de imágenes etiquetadas en miles de categorías.

- **Open Images Dataset**: Un conjunto de datos extenso con anotaciones para detección de objetos, segmentación y más, mantenido por Google.

- **KITTI**: Ideal para proyectos de visión computarizada en automóviles autónomos, incluye imágenes de cámaras montadas en vehículos y etiquetas para objetos de tráfico.

- Investiga la licencia de cada conjunto de datos para asegurarte de que puedes usarlo para fines comerciales si es necesario.

### 3. **Capturar tus propios datos**

- Si los conjuntos de datos públicos no cumplen con los requisitos de tu proyecto, considera recolectar tus propios datos. Por ejemplo, puedes usar cámaras para capturar imágenes o videos en un entorno específico (como un almacén o en calles de una ciudad).

- Asegúrate de capturar los datos en diferentes condiciones (luz, clima, ángulos) para que el modelo sea más robusto.

- **Consideraciones legales**: Al recolectar datos en espacios públicos o que involucren a personas, asegúrate de respetar las normativas de privacidad y obtener los permisos necesarios.

### 4. **Anotación de datos**

- Para muchos proyectos de visión computarizada, es necesario etiquetar los datos manualmente. Puedes usar herramientas de anotación para realizar etiquetado, delimitación (bounding boxes) o segmentación de objetos en las imágenes.

- Herramientas populares para anotación incluyen:

- **LabelImg**: Para etiquetado de bounding boxes.

- **CVAT (Computer Vision Annotation Tool)**: Permite anotación de bounding boxes, segmentación y seguimiento de objetos.

- **Labelbox** y **SuperAnnotate**: Plataformas colaborativas para proyectos grandes de anotación.

- Si el volumen de datos es muy alto, considera usar servicios de etiquetado como Amazon SageMaker Ground Truth, o contratar a anotadores externos.

### 5. **Generar datos sintéticos**

- La creación de datos sintéticos es una estrategia útil cuando los datos reales son difíciles de obtener o costosos de anotar. Esto implica el uso de simulaciones o herramientas de generación de imágenes para crear imágenes de entrenamiento.

- Algunas técnicas para crear datos sintéticos incluyen:

- **Uso de simuladores**: Herramientas como Unity o Blender pueden generar escenas tridimensionales que luego se convierten en imágenes.

- **Augmentación de datos**: Permite ampliar el conjunto de datos aplicando transformaciones como rotación, cambio de escala, recortes y ajuste de brillo en imágenes existentes.

- Los datos sintéticos son especialmente útiles en áreas como la conducción autónoma, donde es difícil captar todos los posibles escenarios de conducción en la vida real.

### 6. **Raspado de imágenes desde la web**

- Puedes obtener imágenes específicas desde sitios web utilizando técnicas de raspado (web scraping). Por ejemplo, Google Images y Bing permiten buscar imágenes bajo ciertos términos. Sin embargo, ten en cuenta las políticas de derechos de autor y atribución.

- Herramientas como **Selenium**, **BeautifulSoup**, o librerías como **Scrapy** en Python pueden ayudarte a automatizar la descarga de imágenes. Asegúrate de filtrar las imágenes según el formato y tamaño que necesitas.

### 7. **Uso de APIs y servicios de terceros**

- Algunas plataformas ofrecen APIs para acceder a conjuntos de datos de imágenes, como Flickr, Unsplash, o las APIs de Google Images y Bing. A través de estas APIs puedes descargar imágenes bajo licencias específicas para usarlas en tu proyecto.

- Las APIs te permiten automatizar la búsqueda y descarga de imágenes relevantes, lo cual facilita la recopilación de grandes cantidades de datos en categorías específicas.

### 8. **Realizar un preprocesamiento de los datos**

- Una vez que tienes los datos, es probable que necesites procesarlos antes de usarlos en el modelo. Las tareas de preprocesamiento incluyen:

- **Redimensionamiento**: Cambiar la resolución de las imágenes para que todas tengan el mismo tamaño.

- **Conversión de formato**: Asegurarte de que todas las imágenes están en un formato compatible con el modelo, como JPEG o PNG.

- **Normalización y escala de colores**: Ajustar el valor de los píxeles para mejorar el rendimiento del modelo.

- También puedes realizar la **división de los datos en subconjuntos** de entrenamiento, validación y prueba.

### 9. **Evaluar y balancear el conjunto de datos**

- Asegúrate de que tu conjunto de datos esté equilibrado, es decir, que las categorías estén bien representadas. Si tienes un desequilibrio (por ejemplo, muchas más imágenes de un tipo que de otro), el modelo podría sesgarse hacia las clases con más ejemplos.

- Si tu conjunto de datos está desequilibrado, puedes recopilar más ejemplos de las clases minoritarias o aplicar técnicas de **re-muestreo** (subsampling o oversampling).

### 10. **Automatizar el flujo de datos**

- Para proyectos de visión computarizada que requieren un flujo constante de datos (por ejemplo, imágenes de cámaras en tiempo real), considera usar servicios de almacenamiento en la nube como AWS S3 o Google Cloud Storage.

- La automatización del flujo de datos permite que los nuevos datos se integren fácilmente y facilita el entrenamiento continuo o la mejora del modelo con datos actualizados.

### Ejemplo práctico: Flujo de obtención de datos para un proyecto de detección de objetos

Si estás desarrollando un modelo de visión computarizada para detectar vehículos en cámaras de tráfico:

1. **Define el alcance**: Necesitas detectar autos, camiones y motocicletas en distintas condiciones de tráfico.

2. **Conjunto de datos público**: Utiliza COCO o Open Images Dataset para comenzar, ya que contienen etiquetas de vehículos.

3. **Captura tus propios datos**: Si es necesario, instala cámaras en ubicaciones específicas y captura videos en diferentes momentos del día.

4. **Anotación**: Usa herramientas como LabelImg para etiquetar manualmente los vehículos en las imágenes.

5. **Datos sintéticos**: Genera imágenes de vehículos en un simulador 3D bajo diferentes ángulos y condiciones.

6. **Preprocesamiento**: Redimensiona las imágenes y normaliza los colores.

7. **Balanceo**: Revisa que cada categoría de vehículo esté bien representada.

8. **Automatización del flujo**: Configura una base de datos en la nube donde las imágenes se actualicen automáticamente desde las cámaras.

Este enfoque te permitirá obtener y procesar los datos necesarios para tu proyecto de visión computarizada de forma efectiva y escalable.

Jhon Freddy Tavera Blandon

student•

API (Interfaz de Programación de Aplicaciones)

Las APIs permiten acceder a servicios y datos de terceros en formato estructurado como JSON o XML, y son muy útiles para obtener datos dinámicos.

¿Cuándo usar APIs?

Cuando necesitas datos externos, actualizados en tiempo real, como información del clima, tráfico en vivo o mapas de carreteras.

Cuando deseas integrar datos de otras plataformas, como servicios de geolocalización o cámaras de tránsito en tiempo real.

Ejemplos de APIs:

Google Maps API: Puedes usarla para obtener información sobre la ubicación de las carreteras y tráfico en tiempo real.

OpenWeather API: Para obtener datos meteorológicos en tiempo real, lo que puede ser útil si tu proyecto considera condiciones climáticas.

Twitter API: Para extraer datos relacionados con menciones o informes de tráfico de los usuarios.

Cómo obtener datos con APIs:

Regístrate en el servicio API que desees utilizar y obtén una clave de acceso.

Utiliza herramientas como Postman o bibliotecas en lenguajes de programación (por ejemplo, requests en Python) para hacer solicitudes HTTP a las APIs.

Procesa los datos en formato JSON o XML para integrarlos en tu proyecto.

Podrías usar la API de Google Maps para obtener datos de tráfico en tiempo real y combinarlos con tu sistema de detección de vehículos, para crear un sistema más completo que detecte vehículos y analice la densidad de tráfico.

Sergio Martinez

student•

que

Sergio Martinez

student•

blue label de jhonny Walker🗿🍷