Transformar CSV a TFRecord

Clase 16 de 33 • Curso Profesional de Computer Vision con TensorFlow

Resumen

Object detection API:

import os
%cd /content
!git clone --quiet https://github.com/tensorflow/models.git
%cd /content/models/
!git checkout 58d19c67e1d30d905dd5c6e5092348658fed80af
!apt-get update && apt-get install -y -qq protobuf-compiler python-pil python-lxml python-tk
!pip install -q Cython contextlib2 pillow lxml matplotlib
!pip install -q pycocotools
%cd /content/models/research
!protoc object_detection/protos/*.proto --python_out=.
os.environ['PYTHONPATH'] += ':/content/models/research/:/content/models/research/slim/'
!python object_detection/builders/model_builder_test.py

Daniel Díaz

student•

El código usado para crear los TFRecords está basado en TensorFlow 1.x, esta versión de TensorFlow no debería ser usada para nuevos proyectos, aquí les preparé una implementación con TensorFlow 2.x si tienen comentarios y/o correcciones, son bienvenidos:

def class_text_to_int(row_label):
    if row_label == MOTORCYCLE_LABEL:
        return 1
    elif row_label == CAR_LABEL:
        return 2
    else: return None


def split(df, group):
    """ Create a namedtuple with the filename and all data related to cars 
    and/or motorcycles found on the picture"""
    data = namedtuple('data', ['filename', 'object'])
    gb = df.groupby(group)  # group DataFrame by filename
    return [data(filename, gb.get_group(x)) for filename, x in zip(gb.groups.keys(), gb.groups)]


def create_tf_example(group, path):
    """ Create TFRecord files"""
    image  = tf.keras.utils.load_img(os.path.join(DATASET_PATH, group.filename))
    width, height = image.size
    image_format = image.format.encode('utf8')
    image = tf.io.encode_jpeg(tf.keras.utils.img_to_array(image))

    filename = group.filename.encode('utf8')
    
    # check if the image format is matching with your images.
    xmins = []
    xmaxs = []
    ymins = []
    ymaxs = []
    classes_text = []
    classes = []

    for index, row in group.object.iterrows():
        xmins.append(row['xmin'] / width)
        xmaxs.append(row['xmax'] / width)
        ymins.append(row['ymin'] / height)
        ymaxs.append(row['ymax'] / height)
        classes_text.append(row['classname'].encode('utf8'))
        classes.append(class_text_to_int(row['classname']))

    tf_example = tf.train.Example(features=tf.train.Features(feature={
        'image/height': dataset_util.int64_feature(height),
        'image/width': dataset_util.int64_feature(width),
        'image/filename': dataset_util.bytes_feature(filename),
        'image/source_id': dataset_util.bytes_feature(filename),
        'image/encoded': dataset_util.bytes_feature(image.numpy()),
        'image/format': dataset_util.bytes_feature(image_format),
        'image/object/bbox/xmin': dataset_util.float_list_feature(xmins),
        'image/object/bbox/xmax': dataset_util.float_list_feature(xmaxs),
        'image/object/bbox/ymin': dataset_util.float_list_feature(ymins),
        'image/object/bbox/ymax': dataset_util.float_list_feature(ymaxs),
        'image/object/class/text': dataset_util.bytes_list_feature(classes_text),
        'image/object/class/label': dataset_util.int64_list_feature(classes),
    }))
    return tf_example

Omar R. Valencia G.

student•

No me corre bien aun localmente, pero algunas cosas menores:

motos y carro los pusiste invertidos
¿seguro del cambio de "class" por "classname" en el for loop?

Muchas gracias por el código adaptado :)

Rodolfo Arturo González Trillo

student•

# Es fundamental remplazar las clases con las mismas clases del proyecto.
# Los nombres deben estar escritos exactamente igual.
# Si existen más clases en tu proyecto agregarias un ELIF.
def class_text_to_int(row_label):
    if row_label == 'carro':
        return 1
    elif row_label == 'moto':
        return 2
    else: return None

def split(df, group):
    """ Create a namedtuple with the filename and all data related to cars 
    and/or motorcycles found on the picture"""
    data = namedtuple('data', ['filename', 'object'])
    gb = df.groupby(group)  # group DataFrame by filename
    return [data(filename, gb.get_group(x)) for filename, x in zip(gb.groups.keys(), gb.groups)]


def create_tf_example(group, path):
    """ Create TFRecord files"""
    image  = tf.keras.utils.load_img(os.path.join(path, group.filename))
    width, height = image.size
    image_format = image.format.encode('utf8')
    image = tf.io.encode_jpeg(tf.keras.utils.img_to_array(image))

    filename = group.filename.encode('utf8')
    
    # check if the image format is matching with your images.
    xmins = []
    xmaxs = []
    ymins = []
    ymaxs = []
    classes_text = []
    classes = []

    for index, row in group.object.iterrows():
        xmins.append(row['xmin'] / width)
        xmaxs.append(row['xmax'] / width)
        ymins.append(row['ymin'] / height)
        ymaxs.append(row['ymax'] / height)
        classes_text.append(row['class'].encode('utf8'))
        classes.append(class_text_to_int(row['class']))

    tf_example = tf.train.Example(features=tf.train.Features(feature={
        'image/height': dataset_util.int64_feature(height),
        'image/width': dataset_util.int64_feature(width),
        'image/filename': dataset_util.bytes_feature(filename),
        'image/source_id': dataset_util.bytes_feature(filename),
        'image/encoded': dataset_util.bytes_feature(image.numpy()),
        'image/format': dataset_util.bytes_feature(image_format),
        'image/object/bbox/xmin': dataset_util.float_list_feature(xmins),
        'image/object/bbox/xmax': dataset_util.float_list_feature(xmaxs),
        'image/object/bbox/ymin': dataset_util.float_list_feature(ymins),
        'image/object/bbox/ymax': dataset_util.float_list_feature(ymaxs),
        'image/object/class/text': dataset_util.bytes_list_feature(classes_text),
        'image/object/class/label': dataset_util.int64_list_feature(classes),
    }))
    return tf_example

Con las correcciones de Omar. ¡Muchas gracias!

Anthony Ismael Manotoa Moreno

student•

Proceso de instalación de la librería object detection:

import os
%cd /content
!git clone --quiet https://github.com/tensorflow/models.git
%cd /content/models/
!git checkout 58d19c67e1d30d905dd5c6e5092348658fed80af
!apt-get update && apt-get install -y -qq protobuf-compiler python-pil python-lxml python-tk
!pip install -q Cython contextlib2 pillow lxml matplotlib
!pip install -q pycocotools
%cd /content/models/research
!protoc object_detection/protos/*.proto --python_out=.
os.environ['PYTHONPATH'] += ':/content/models/research/:/content/models/research/slim/'
!python object_detection/builders/model_builder_test.py

Jesús Lautaro Careglio Albornoz

student•

Ejecutar esta linea para instalar la libreria object detection:

!pip install tensorflow-object-detection-api

esto resuelve el problema marcado en amarillo que aparece al copiar y pegar el contenido de "Converting from *.csv to *.record" en el enlace que comparte el profe

Daniel Díaz

student•

¿Por qué se dividen los x y y máximos y mínimos con la altura y anchura?

Adonai Vera

teacher•

Hola Daniel Muchas gracias por tomarte el tiempo de preguntar, excelente pregunta. En ese caso realizamos una normalización para que el bbox se encuentre entre 0 y 1. Las x min y maximas las dividimos por el ancho y las y por la altura de esta forma cuando creemos el tfrecord file tendremos valores entre 0 y 1. Y esta es la entrada esperada del archivo tfrecord.

Saludos

Daniel Díaz

student•

En el minuto 8:40 donde se explica la variable path, se usa la función os.path.join() la cuál se usa para concanetar cadenas en formato ruta del sistema, por lo que si le mando, por ejemplo: "hola", "mundo" tendrás diferentes salidas de acuerdo al SO que uses, si usas windows tendrás: "hola\mundo", si usas linux o mac: "hola/mundo", sabiendo esto, sabes que no tiene sentido mandarse solo un parámetro como se hace en el video, por lo que debería ser elimida.

Fredy Alberto Orozco Loaiza

student•

Mejoraría mucha la experiencia si se trabajará con Drive. Muchas veces no me sube el archivo zip donde estaban las fotos, no sé que pasaba pero muchas veces ni me cargaba. Así que voy a ver como me va cargando la información en drive

Henry Mendiburu Díaz

student•

Hemos visto cuál sería el procedimiento para instalar la librería de Object Detection en Colab, pero cuál sería el procedimiento para una instalación local en PC?

Adonai Vera

teacher•

Hola Henry, Por acá les dejo los links para poder instalarlo directamente en cada sistema operativo. https://tensorflow-object-detection-api-tutorial.readthedocs.io/en/latest/install.html

Y aqui esta el repositorio principal: https://github.com/tensorflow/models/tree/master/research/object_detection

Si depronto prefieren videos tutoriales, Nicholas explica muy bien como instalarlo: https://www.youtube.com/watch?v=dZh_ps8gKgs

Me cuentas, saludos

ivan josue ortiz alban

student•

cuando se refiere a dataset original se refiere al dataset del principio el que no estaba dividido en train , test? o en el ya esta filtrado?

Adonai Vera

teacher•

Es correcto, el que no estaba dividido

Adonai Vera

teacher•

Excelente ver el video final del curso en LinkedIn, muy buen trabajo Ivan Josue

Diego Esteban Hernández Valenciano

student•

Me genera un error de sintaxis y solo copie el codigo. De principio utilice el codigo de la sección de recursos y me generaba un error y en esta ocasión decidi usar el codigo de la sección de aporte, porque mencionaba que estaba más actualizado

Adonai Vera

teacher•

Hola hola Sensusassoupire, Podrias subir una foto en donde se visualize el error que te aparece para poder ayudarte. Posiblemente sea un error en librerias, TensorFlow constantemente esta actualizando y mejorando las librerias. Te recomiendo que ejecutes el codigo de la sección de Recursos pero teniendo en cuenta la instalación de Object Detection, creeamos un blog que te servira para poder evitar los errores. Sin embargo si te aparece uno, compartelo por acá y te ayudo a solucionar.

Te dejo el blog aquí

Diego Esteban Hernández Valenciano

student•

Hice algunos cambios logre avanzar un poco, ahora me arrojo este error.

Daniel Díaz

student•

¿Por qué necesitamos específicamente la versión con el hash 58d19c67e1d30d905dd5c6e5092348658fed80af?, en la documentación oficial no mencionan nada al respecto. Me gustaría más detalles de los paquetes que se instalan y para qué son usados, instalarlos y ya no nos muestra la necesidad de tener esos paquetes.

Adonai Vera

teacher•

Hola Daniel, Gracias por preguntar, TF es una librería que se va actualizando y va siempre buscando ser más sencilla y con menos requerimientos de instalación; anteriormente el proceso para instalar la API de object detection era un poco tedioso y se necesitaba realizar unas pre configuraciones y unas versiones en específico, en este caso la versión que funcionaba era 58d19c67e1d30d905dd5c6e5092348658fed80af junto a las librería indicadas en el proceso de instalación (Si no lo ejecutabas así, generaba ciertos conflictos de librería y tenias que modificar su instalación, sufrí varios meses con esos problemas y lo que genere en el curso fue una forma en la cual me aseguro que funcione con las librería indicadas), sin embargo al pasar las nuevas versiones el proceso para instalar object detection se ha vuelto mucho más sencillo.

Ahora si lo vas a instalar local solo debes que clonarlo y ejecutar un par de comandos

git clone https://github.com/tensorflow/models.git

cd models/research
# Compile protos.
protoc object_detection/protos/*.proto --python_out=.
# Install TensorFlow Object Detection API.
cp object_detection/packages/tf2/setup.py .
python -m pip install --use-feature=2020-resolver .

Aquí te dejo el link con más documentación https://github.com/tensorflow/models/tree/master/research/object_detection

Muchas gracias por compartir en los comentarios otra forma de generar el tfrecord con versiones más actualizadas, sé que esos comentarios generan mucho valor para tus compañeros.

Saludos

Godofredo Quea

student•

tengo una duda. alguien ya haya hecho. con tensorFlow 2. Tutorial de la API de detección de objetos de TensorFlow 2. no me funciona con el del prof. . help please

Adonai Vera

teacher•

Hola Godofredo Quea, Que error te sale? si me lo compartes te puedo dar una mano para solucionarlo

Me cuentas, saludos

Mario Alexander Vargas Celis

student•

Para transformar un archivo CSV a TFRecord, aquí tienes una guía detallada paso a paso. Supongamos que tu archivo dataset.csv tiene las siguientes columnas:


filename, label

imagen\_001.jpg, 0

imagen\_002.jpg, 1

### Pasos para convertir el CSV a TFRecord

1. **Importar las bibliotecas necesarias**

```python

import os

import tensorflow as tf

import pandas as pd

```

2. **Definir las funciones de ayuda para la conversión a TFRecord**

Cada característica en los datos debe transformarse al formato adecuado (bytes, int64 o float), y se utiliza un tf.train.Example para almacenar la información en el formato TFRecord.

```python

def _bytes_feature(value):

"""Retorna un Feature en formato bytes."""

return tf.train.Feature(bytes_list=tf.train.BytesList(value=[value]))

def _int64_feature(value):

"""Retorna un Feature en formato int64."""

return tf.train.Feature(int64_list=tf.train.Int64List(value=[value]))

def create_example(row):

"""Crea un tf.train.Example para cada fila en el CSV."""

# Lee la imagen en bytes

with open(row['filename'], 'rb') as img_file:

image_data = img_file.read()

# Crear un diccionario de características

feature = {

'image': _bytes_feature(image_data),

'label': _int64_feature(int(row['label']))

}

# Retorna el ejemplo serializado

return tf.train.Example(features=tf.train.Features(feature=feature))

```

3. **Cargar el archivo CSV y escribir los datos en el archivo TFRecord**

Lee el archivo CSV con pandas, luego convierte cada fila en un tf.train.Example y escribe los ejemplos en un archivo TFRecord.

```python

# Definir ruta del archivo CSV y carpeta de imágenes

csv_file = 'dataset.csv'

output_tfrecord = 'dataset.tfrecord'

# Leer el archivo CSV

df = pd.read_csv(csv_file)

# Crear el archivo TFRecord y escribir los ejemplos

with tf.io.TFRecordWriter(output_tfrecord) as writer:

for _, row in df.iterrows():

example = create_example(row)

writer.write(example.SerializeToString())

print("Archivo TFRecord creado correctamente.")

```

4. **Leer y verificar el archivo TFRecord**

Ahora puedes cargar el archivo TFRecord para verificar que los datos se almacenaron correctamente.

```python

# Definir función para leer el archivo TFRecord

def parse_tfrecord_fn(example_proto):

# Descripción de características para decodificar

feature_description = {

'image': tf.io.FixedLenFeature([], tf.string),

'label': tf.io.FixedLenFeature([], tf.int64),

}

return tf.io.parse_single_example(example_proto, feature_description)

# Cargar el archivo TFRecord

raw_dataset = tf.data.TFRecordDataset(output_tfrecord)

parsed_dataset = raw_dataset.map(parse_tfrecord_fn)

# Mostrar algunos ejemplos

for parsed_record in parsed_dataset.take(5):

image_raw = parsed_record['image'].numpy()

label = parsed_record['label'].numpy()

print("Etiqueta:", label)

print("Imagen (bytes):", len(image_raw), "bytes") # Verifica el tamaño en bytes

```

### Explicación de los pasos

- **Conversión de tipos de datos**: Las funciones \_bytes\_feature y \_int64\_feature convierten los valores de las características al tipo que espera tf.train.Example.

- **Creación de tf.train.Example**: Se crea un ejemplo con las características necesarias, en este caso la imagen en bytes y la etiqueta.

- **Escritura en TFRecord**: TFRecordWriter escribe cada ejemplo en el archivo dataset.tfrecord.

- **Lectura de TFRecord**: Con tf.data.TFRecordDataset, puedes leer y decodificar cada ejemplo, lo que permite verificar que los datos están almacenados correctamente.

Este proceso optimiza el almacenamiento y facilita la carga rápida en TensorFlow para entrenamiento y evaluación en grandes conjuntos de datos.

Rodrigo Martinez

student•

Urge actualizacion de esta clase: import os

import pandas as pd

import tensorflow as tf

def create_tf_example(row, image_dir):

# Load the image

img_path = os.path.join(image_dir, row['filename'])

with tf.io.gfile.GFile(img_path, 'rb') as fid:

encoded_jpg = fid.read()

width = int(row['width'])

height = int(row['height'])

filename = row['filename'].encode('utf8')

image_format = b'jpg'

xmins = [row['xmin'] / width]

xmaxs = [row['xmax'] / width]

ymins = [row['ymin'] / height]

ymaxs = [row['ymax'] / height]

classes_text = [row['class'].encode('utf8')]

classes = [1] # You can modify this based on your label map

tf_example = tf.train.Example(features=tf.train.Features(feature={

'image/height': tf.train.Feature(int64_list=tf.train.Int64List(value=[height])),

'image/width': tf.train.Feature(int64_list=tf.train.Int64List(value=[width])),

'image/filename': tf.train.Feature(bytes_list=tf.train.BytesList(value=[filename])),

'image/source_id': tf.train.Feature(bytes_list=tf.train.BytesList(value=[filename])),

'image/encoded': tf.train.Feature(bytes_list=tf.train.BytesList(value=[encoded_jpg])),

'image/format': tf.train.Feature(bytes_list=tf.train.BytesList(value=[image_format])),

'image/object/bbox/xmin': tf.train.Feature(float_list=tf.train.FloatList(value=xmins)),

'image/object/bbox/xmax': tf.train.Feature(float_list=tf.train.FloatList(value=xmaxs)),

'image/object/bbox/ymin': tf.train.Feature(float_list=tf.train.FloatList(value=ymins)),

'image/object/bbox/ymax': tf.train.Feature(float_list=tf.train.FloatList(value=ymaxs)),

'image/object/class/text': tf.train.Feature(bytes_list=tf.train.BytesList(value=classes_text)),

'image/object/class/label': tf.train.Feature(int64_list=tf.train.Int64List(value=classes)),

}))

return tf_example

def convert_csv_to_tfrecord(csv_input, image_dir, output_path):

writer = tf.io.TFRecordWriter(output_path)

df = pd.read_csv(csv_input)

for index, row in df.iterrows():

tf_example = create_tf_example(row, image_dir)

writer.write(tf_example.SerializeToString())

writer.close()

print(f'Successfully created the TFRecord file: {output_path}')

# Example usage

csv_input = './type_file_labels.csv' # Path to your CSV file

image_dir = './images/' # Path to your image directory

output_path = './train.record' # Output path for the TFRecord

# Convert CSV to TFRecord

convert_csv_to_tfrecord(csv_input, image_dir, output_path)

Transformar CSV a TFRecord

Comprender la visión computarizada

¿Por qué aprender computer vision?

¿Qué es la visión computarizada?

Tipos de visión computarizada

Introducción a object detection: clasificación + localización

Aprende a identificar problemas

Dimensionamiento de proyecto de visión computarizada

Cómo definir los tiempos de tu proyecto

Cómo costear tu proyecto

Cómo identificar los roles necesarios en el proyecto

Producto mínimo viable en computer vision

Obtención y procesamiento de los datos

Obtención de datos para tu proyecto

Limpieza de la base de datos

Distribución de datos en entrenamiento y testeo

Etiquetado de los datos de test

Etiquetado de los datos de train

Transforma tu base de datos a TFRecord

Transformar CSV a TFRecord

Entrena, testea y optimiza tus modelos

Librerías a importar durante fase de entrenamiento

Fase de entrenamiento del modelo

Balanceo de imágenes y data augmentation

Entrena, evalua y optimiza con TensorBoard

Validación de modelo en un entorno de ejecución

Re-entrenamiento del modelo para obtener mejores resultados

Seguimiento de centroides con OpenCV

Configuración de los centroides con OpenCV

Algoritmo de dirección y conteo con OpenCV

Crea un ciclo de entrenamiento de tu modelo: MLOps

Producto con visión computarizada en producción

Prepara tu entorno en Google Cloud Platform

Carga y preprocesamiento de modelos

Postprocesamiento de modelos

Despliega y consume tu modelo en producción

Bonus: aprende a apagar las máquinas de GCP para evitar sobrecostos

Siguientes pasos en inteligencia artificial

Siguientes pasos en inteligencia artificial

Comparte tu proyecto de detección de vehículos en carretera y certifícate