Carga de dataset de object detection

Cursos Empresas Blog Live Conf Precios

Contenido del curso

Introducción a Computer Vision

1
¿Qué es la visión computarizada y cuáles son sus tipos?
08:35 min

Detección de objetos

Segmentación de objetos

Un paso más allá

Tomar examen

Carga de dataset de object detection

Comentarios

Julen Alvaro

student

Para poder descargar directamente un dataset de Kaggle a Colab sin pasar por la máquina que estemos utilizando:

!mkdir ~/.kaggle
!touch ~/.kaggle/kaggle.json

#Los siguientes datos se obtienen del archivo kaggle.json:
api_token = {“username”:[usuario de kaggle],“key”:[api key de Kaggle]}

import json

with open(’/root/.kaggle/kaggle.json’, ‘w’) as file:
json.dump(api_token, file)

!chmod 600 ~/.kaggle/kaggle.json

!kaggle datasets download -d alincijov/self-driving-cars

El .zip se descargará a ‘/content’

Diego Rivera

student

que buena informacion

Eduard Giraldo Martínez

student

Ya lo cambiaron y pueden hacerlo más sencillo con:

import kagglehub

# Download latest version

path = kagglehub.dataset_download("alincijov/self-driving-cars")

print("Path to dataset files:", path)

Santiago Ahumada Lozano

student

Para clonar el repo de TF:

!git clone https://github.com/tensorflow/models

Diego Sepúlveda

student

Si alguien tiene problema en un MAC M1 hacer este cambio. Fijarse en la versión en vez de la dos

cd models/research/
protoc object_detection/protos/*.proto --python_out=.
cp object_detection/packages/tf1/setup.py .
python -m pip install . --no-deps

Fuente: https://github.com/B1tstorm/customized_object_detection_system/issues/13

Sergio Paniego

teacher

Gracias por el aporte! :)

Gabriel Martins Santos

student

hermanos 😤

%%bash
cd models/research/
protoc object_detection/protos/*.proto --python_out-.
cp object_detection/packages/tf2/setup.py .
python -m pip install .

Daniel Carvajal Correa

student

¿por que se agrega el headless a la instalacion de open-cv?

Sergio Paniego

teacher

Hola, Daniel:

Esto se debe simplemente a un problema en el entorno de Google Colab. Sería posible desarrollarlo con open-cv sin headless si se supera ese error o si se trabaja en otro entorno.

Un saludo!

Carlos Pimentel

student

He tenido problemas con el código bash que se enseña trabajando desde Colab. Tal cual lo ejecuta el profesor me aparece el siguiente error:

CalledProcessError: Command 'b'cd models/research/\nprotoc object_detection/protos/*.proto --python_out=.\ncp object_detection/packages/tf2/setup.py .\npython -m pip install .\n'' returned non-zero exit status 1.

Alguien tiene alguna idea cómo solucionarlo?

Sergio Paniego

teacher

Hola, Carlos:

Gracias por tu pregunta. Los comandos presentados están pensados para uso en las máquinas de Google Colab. Estas utilizan por detrás Linux, así que los comandos presentados son compatibles con ese tipo de sistemas. Los comandos pueden variar un poco si el sistema operativo no es el mismo. Te recomiendo revisar que los comandos presentados se pueden utilizar en tu máquina y revisar su equivalente a tu sistema operativo, si es diferente.

Ánimo!!

Simón Arboleda

student

Porque sera que a platzi le gustan tanto los noteBooks :(

Gabriel Ichcanziho Pérez Landa

student

Porque los cursos a pesar de estar pensado para personas que deberían tener un buen nivel de python siempre habrá quien NO conozca de entornos virtuales, que tenga problemas de instalar biblitecas o simplemente que NO tienen una GPU en su computadora.

Carlos Alberto Bustamante Gaytan

student

En el área de Machine Learning los notebooks son muy usados para la creación de modelos. Obviamente al pasar a la etapa de producción se tienen que dejar atrás y ya pasar al deployment por el método que se requiera (ya sea por las mismas herramientas del Framework, en servidores en la nube o de forma local).

Nicolas Cordoba

student

Hola, estoy intentando desarrollar los pasos desde WSL2 en local pero al intentar importar object_detection me sale el siguiente error ImportError: cannot import name 'vis' from 'object_detection.utils'

SONIA VELEZ V

student

Estoy desarrollando el ejercicio en jupyter en Visual Studio, alguno sabe como llamar esas carpetas ?

Raul Ernesto Almao Alvarado

student

me sale este error y no encuentro la ubicacion del documento saludos y feliz tarde

unzip: cannot find or open /content/drive/MyDrive/Platzi/object_detection_cars_dataset_platzi_more_classes.zip, /content/drive/MyDrive/Platzi/object_detection_cars_dataset_platzi_more_classes.zip.zip or /content/drive/MyDrive/Platzi/object_detection_cars_dataset_platzi_more_classes.zip.ZIP.

Rubén Cuello

student

Hola @raulernestoalmaoalvarado. Ese error se debe a que no encuentra la ubicación del dataset. El profesor usa esa ruta porque corresponde al lugar donde el tiene almacenado el dataset. Tu seguro tienes una ruta diferente. Intenta no poner tantas carpetas intermedias entre tu drive y el archivo final, para simplificar la búsqueda.

Espero haberte ayudado :smile:

Miguel Rodríguez

student

Te recomiendo usar la opción que dejo un compañero en los aportes, que es traerte la carpeta desde kaggle, aqui esta el aporte.

Necesitas crear una cuenta en Kaggle, y sigues los siguientes pasos:

Da click en tu perfil y vas a settings
Ahi busca la sección API
Selecciona Create New Token y podrás descargar el json con tu información

María Camila Durango Barrera

teacher

Tuve un problema para reconocer comandos bash ya que trabajo local y, lo que me tocó hacer fue instalarlo con la terminal de anaconda a punta de cd, para instalar el setup lo hice con python setup instal (importante estar en el path donde está el setup) . Será que no me reconoce los comandos bash porque no está la cmd en el path de las variables de entorno de mi sistema operativo Windows?? aiuda!!

Sergio Paniego

teacher

Hola!

En caso de no poder resolver el problema en local, se puede utilizar Colab para realizar el seguimiento sin problemas!

Ánimo!

Brandon F Vargas Garcia

student

Para continuar con el curso y ya que a la fecha no hay tanto soporte para tensorflow==2.7.0 ocupo en el mismo green garden de tf tensorflow_models_official que ofrece una libreria parecida a la de object_detection, esta es vision:

para la instalación seguí los siguientes pasos:

Instalar tensorflow_models_official (actualmente si es soportado por tensorflow 2.18.0 o 2.19.0, que es lo más comunmente ocupado en notebooks):pip install tf-models-official

Se pueden importar las libreria utils parecida a visualization_utils:

# Importar utilidades para visualización from official.vision.utils import box_utils

y en general es una alternativa usar vision a object_vision que esta ya sin soporte para las versiones de tf modernas.

---

Estructura de official.vision:
Las utilidades están organizadas en submódulos específicos dentro de official.vision. Algunos ejemplos comunes incluyen:

    official.vision.data: Para preprocesamiento y manejo de datasets (por ejemplo, TFRecord, aumento de imágenes).
    official.vision.evaluation: Para métricas como mAP en detección de objetos.
    official.vision.ops: Para operaciones como aumento de imágenes o preprocesamiento de bounding boxes.
    official.vision.utils: Utilidades generales, como visualización o manejo de etiquetas.

# Importar utilidades para preprocesamiento de datos
from official.vision.data import tfrecord_utils
from official.vision.data import image_utils

# Importar utilidades para evaluación (por ejemplo, métricas COCO)
from official.vision.evaluation import coco_evaluator

# Importar utilidades para operaciones como aumento de imágenes
from official.vision.ops import augment

# Importar utilidades para visualización
from official.vision.utils import box_utils

Mario Alexander Vargas Celis

student

Para cargar un dataset de detección de objetos en Python, puedes usar bibliotecas como TensorFlow, PyTorch, o herramientas específicas de carga de datos. Aquí hay una guía para cargar datasets comunes:

### 1. Usando TensorFlow y tf.data.Dataset:

Puedes cargar imágenes y anotaciones con tf.data.Dataset para crear un pipeline de datos eficiente.


import tensorflow as tf

import os



\# Ruta del dataset (imágenes y anotaciones)

image\_dir = '/ruta/a/imagenes'

annotation\_dir = '/ruta/a/anotaciones'



def parse\_image\_and\_annotation(image\_path):

&#x20;   \# Carga de la imagen

&#x20;   image = tf.io.read\_file(image\_path)

&#x20;   image = tf.image.decode\_jpeg(image, channels=3)



&#x20;   \# Aquí puedes cargar y parsear las anotaciones correspondientes

&#x20;   \# Por ejemplo, usando un formato como COCO o Pascal VOC.



&#x20;   return image, annotation  # Devolver la imagen y la anotación



\# Crear un Dataset de TensorFlow

image\_paths = \[os.path.join(image\_dir, f) for f in os.listdir(image\_dir)]

dataset = tf.data.Dataset.from\_tensor\_slices(image\_paths)

dataset = dataset.map(parse\_image\_and\_annotation)

### 2. Usando PyTorch y torchvision:

La biblioteca torchvision proporciona métodos para cargar datasets como COCO y PASCAL VOC.


import torchvision

from torchvision import transforms

from torch.utils.data import DataLoader



\# Transformaciones de imagen (puedes agregar más según tus necesidades)

transform = transforms.Compose(\[

&#x20;   transforms.ToTensor()

])



\# Carga del dataset COCO

coco\_dataset = torchvision.datasets.CocoDetection(

&#x20;   root='/ruta/a/imagenes',

&#x20;   annFile='/ruta/a/anotaciones/annotations.json',

&#x20;   transform=transform

)



\# Crear un DataLoader para iterar sobre el dataset

dataloader = DataLoader(coco\_dataset, batch\_size=4, shuffle=True)



\# Iterar sobre el dataloader

for images, targets in dataloader:

&#x20;   print("Imágenes:", images.shape)

&#x20;   print("Anotaciones:", targets)

### 3. Usar bibliotecas especializadas como FiftyOne:

FiftyOne es una biblioteca poderosa para explorar y cargar datasets de visión por computadora.


import fiftyone as fo



\# Cargar el dataset COCO

dataset = fo.zoo.load\_zoo\_dataset(

&#x20;   "coco-2017",

&#x20;   split="validation",

&#x20;   dataset\_dir="/ruta/a/dataset/coco"

)



\# Visualizar el dataset en FiftyOne

session = fo.launch\_app(dataset)

### Tips:

- **Formatos de anotación**: Asegúrate de que el formato de anotación sea compatible (COCO, PASCAL VOC, etc.).

- **Transformaciones**: Aplica transformaciones (como redimensionar o normalizar) para ajustar el dataset a tu modelo.

- **Data Augmentation**: Puedes usar bibliotecas como Albumentations para aumentar el dataset y mejorar la robustez del modelo.

Esto debería proporcionarte un punto de partida sólido para cargar y utilizar datasets de detección de objetos.

Diego Alejandro Lesmes

student

Estaria bueno tener el requirements.txt para simplemente instalar todo de un solo, no? 🤔

Maria Tapia M.

student

Buenas noches, en google colab no me deja instalar opencv-python-headless==4.1.2.30 ni tensorlow==2.7.0. Me sale lo siguiente:

Cesar Enrique Manzano

student

Buenazo !!

!mkdir ~/.kaggle
!touch ~/.kaggle/kaggle.json

#Los siguientes datos se obtienen del archivo kaggle.json:
api_token = {“username”:[usuario de kaggle],“key”:[api key de Kaggle]}

import json

with open(’/root/.kaggle/kaggle.json’, ‘w’) as file:
json.dump(api_token, file)

!chmod 600 ~/.kaggle/kaggle.json

!kaggle datasets download -d alincijov/self-driving-cars

CalledProcessError: Command 'b'cd models/research/\nprotoc object_detection/protos/*.proto --python_out=.\ncp object_detection/packages/tf2/setup.py .\npython -m pip install .\n'' returned non-zero exit status 1. 

Estructura de official.vision:
Las utilidades están organizadas en submódulos específicos dentro de official.vision. Algunos ejemplos comunes incluyen:

    official.vision.data: Para preprocesamiento y manejo de datasets (por ejemplo, TFRecord, aumento de imágenes).
    official.vision.evaluation: Para métricas como mAP en detección de objetos.
    official.vision.ops: Para operaciones como aumento de imágenes o preprocesamiento de bounding boxes.
    official.vision.utils: Utilidades generales, como visualización o manejo de etiquetas.

# Importar utilidades para preprocesamiento de datos
from official.vision.data import tfrecord_utils
from official.vision.data import image_utils

# Importar utilidades para evaluación (por ejemplo, métricas COCO)
from official.vision.evaluation import coco_evaluator

# Importar utilidades para operaciones como aumento de imágenes
from official.vision.ops import augment

# Importar utilidades para visualización
from official.vision.utils import box_utils

import tensorflow as tf

import os

\# Ruta del dataset (imágenes y anotaciones)

image\_dir = '/ruta/a/imagenes'

annotation\_dir = '/ruta/a/anotaciones'

def parse\_image\_and\_annotation(image\_path):

&#x20;   \# Carga de la imagen

&#x20;   image = tf.io.read\_file(image\_path)

&#x20;   image = tf.image.decode\_jpeg(image, channels=3)

&#x20;   \# Aquí puedes cargar y parsear las anotaciones correspondientes

&#x20;   \# Por ejemplo, usando un formato como COCO o Pascal VOC.

&#x20;   return image, annotation  # Devolver la imagen y la anotación

\# Crear un Dataset de TensorFlow

image\_paths = \[os.path.join(image\_dir, f) for f in os.listdir(image\_dir)]

dataset = tf.data.Dataset.from\_tensor\_slices(image\_paths)

dataset = dataset.map(parse\_image\_and\_annotation)

import torchvision

from torchvision import transforms

from torch.utils.data import DataLoader

\# Transformaciones de imagen (puedes agregar más según tus necesidades)

transform = transforms.Compose(\[

&#x20;   transforms.ToTensor()

])

\# Carga del dataset COCO

coco\_dataset = torchvision.datasets.CocoDetection(

&#x20;   root='/ruta/a/imagenes',

&#x20;   annFile='/ruta/a/anotaciones/annotations.json',

&#x20;   transform=transform

)

\# Crear un DataLoader para iterar sobre el dataset

dataloader = DataLoader(coco\_dataset, batch\_size=4, shuffle=True)

\# Iterar sobre el dataloader

for images, targets in dataloader:

&#x20;   print("Imágenes:", images.shape)

&#x20;   print("Anotaciones:", targets)

import fiftyone as fo

\# Cargar el dataset COCO

dataset = fo.zoo.load\_zoo\_dataset(

&#x20;   "coco-2017",

&#x20;   split="validation",

&#x20;   dataset\_dir="/ruta/a/dataset/coco"

)

\# Visualizar el dataset en FiftyOne

session = fo.launch\_app(dataset)

Introducción a Computer Vision

¿Qué es la visión computarizada y cuáles son sus tipos?

Detección de objetos

Introducción a object detection: sliding window y bounding box

Generando video de sliding window

Introducción a object detection: backbone, non-max suppression y métricas

Visualización de IoU en object detection

Tipos de arquitecturas en detección de objetos

Arquitecturas relevantes en object detection

Utilizando un dataset de object detection