Transforma tu base de datos a TFRecord

Clase 15 de 33 • Curso Profesional de Computer Vision con TensorFlow

Henry Mendiburu Díaz

student•

Cabe mencionar que utilizando la librería de LABELLMG se obtienen anotaciones en archivos XML en formato PASCAL VOC, los cuales también pueden ser convertidos a TFRecord.

Daniel Díaz

student•

Si metemos toda la lógica de carga de datos en una función donde parametrizamos el tipo de dataset podemos evitar tener que cambiar código para cada tipo de dataset, por ejemplo:

def create_csv(data, dataset_type):
	csv_list = []
	for classification in data:
		width, height = classification['width'], classification['height']
		image_name = classification['image']
		for item in classification['tags']:
			name = item['name']
			xmin = item['x']
			ymin = item['y']
			xmax = xmin + item['w']
			ymax = ymin + item['h']
			values = (image_name, width, height, name, xmin, ymin, xmax, ymax)
			csv_list.append(values)
	column_names = ['filename', 'width', 'height', 'classname', 'xmin', 'ymin', 'xmax', 'ymax']
	csv_df = pd.DataFrame(csv_list, columns=column_names)
	csv_df.to_csv(f"/content/{dataset_type}_labels.csv")

Daniel Díaz

student•

Corregir por favor las línea donde se lean 'x', 'y', 'h' y 'w', en lugar de ser:

name = item['name']
xmin = item['x']
ymin = item['y']
xmax = xmin + item['w']
ymax = ymin + item['h']

deben ser:

xmin = item['pos']['x']
ymin = item['pos']['y']
xmax = xmin + item['pos']['w']
ymax = ymin + item['pos']['h']

Diego Gonzalo Pardo Gálvez

student•

Bien día, Adonaí. quería consultar si existe alguna forma de transformar de tfrecord a imagen. Necesito extraer las imágenes de un dataset que encontré para poder realizar un preprocesamiento de la imagen. te agradecería bastante si pudieras ayudarme con esto

Adonai Vera

teacher•

Hola Diego Gonzalo, Claro que si, hace un tiempo encontré un notebook en Kaggle para hacer esa transformación, te lo dejo por acá: https://www.kaggle.com/code/ramsegaurav/how-to-convert-tfrecord-to-jpg/notebook

Espero te sirva, saludos

Raul Ernesto Almao Alvarado

student•

hola buenas noches, como estan? me aparece este error, me pueden ayudar? NotFoundError: /content/dataset_original/dataset_original_2/1+%285%29.png; No such file or directory

Adonai Vera

teacher•

Hola Raul, Posiblemente sea por los simbolos "+%", te recomiendo hacer un pre-procesamiento de la base de datos, esos espacios se generan en algunas ocasiones cuando descargas la base de datos desde internet y los nombres tienen espacios o nombres extraños.

Me cuentas, saludos

Mario Alexander Vargas Celis

student•

El formato **TFRecord** es un formato binario desarrollado por TensorFlow que permite almacenar grandes cantidades de datos de manera eficiente, especialmente útil para conjuntos de datos que contienen imágenes y etiquetas, o cualquier dato que desees procesar con TensorFlow. A continuación, te explico cómo transformar tu base de datos a TFRecord.

### Pasos para convertir una base de datos a TFRecord

Supongamos que tienes imágenes y sus etiquetas en un archivo CSV. Para este ejemplo, imaginemos que el archivo train\_labels.csv tiene el siguiente formato:


filename,label

imagen\_001.jpg,0

imagen\_002.jpg,1

...

1. **Importar bibliotecas necesarias**:

```python

import os

import tensorflow as tf

import pandas as pd

from PIL import Image

```

2. **Definir funciones para la conversión a TFRecord**:

La clave está en convertir los datos a un formato compatible con **tf.train.Example** y luego escribirlos en un archivo .tfrecord.

```python

# Función para convertir los tipos de datos

def _bytes_feature(value):

return tf.train.Feature(bytes_list=tf.train.BytesList(value=[value]))

def _int64_feature(value):

return tf.train.Feature(int64_list=tf.train.Int64List(value=[value]))

# Función para crear un tf.train.Example

def create_example(image_path, label):

# Leer y convertir la imagen a bytes

with open(image_path, 'rb') as img_file:

image_data = img_file.read()

# Crear un diccionario de características

feature = {

'image': _bytes_feature(image_data),

'label': _int64_feature(label)

}

# Convertir el diccionario en un tf.train.Example

example = tf.train.Example(features=tf.train.Features(feature=feature))

return example

```

3. **Cargar etiquetas y escribir el archivo TFRecord**:

Lee el archivo CSV y escribe los datos en formato TFRecord.

```python

# Rutas y archivos

csv_file = 'train_labels.csv'

image_folder = 'path/to/images'

output_tfrecord = 'train_data.tfrecord'

# Leer el archivo CSV

df = pd.read_csv(csv_file)

# Crear el archivo TFRecord

with tf.io.TFRecordWriter(output_tfrecord) as writer:

for _, row in df.iterrows():

image_path = os.path.join(image_folder, row['filename'])

label = int(row['label'])

# Crear tf.train.Example para cada imagen y etiqueta

example = create_example(image_path, label)

# Escribir en el archivo TFRecord

writer.write(example.SerializeToString())

```

4. **Leer y verificar el archivo TFRecord**:

Una vez que tienes el archivo TFRecord, verifica que los datos se han guardado correctamente.

```python

# Función para leer el TFRecord

def parse_tfrecord_fn(example):

feature_description = {

'image': tf.io.FixedLenFeature([], tf.string),

'label': tf.io.FixedLenFeature([], tf.int64),

}

example = tf.io.parse_single_example(example, feature_description)

example['image'] = tf.io.decode_jpeg(example['image']) # Decodifica imagenes JPEG

return example['image'], example['label']

# Cargar el dataset desde el archivo TFRecord

raw_dataset = tf.data.TFRecordDataset(output_tfrecord)

parsed_dataset = raw_dataset.map(parse_tfrecord_fn)

# Imprimir algunos ejemplos

for image, label in parsed_dataset.take(5):

print("Etiqueta:", label.numpy())

print("Imagen:", image.numpy().shape) # Mostrar la forma de la imagen

```

### Explicación de los pasos

- **Conversión de tipos de datos**: \_bytes\_feature y \_int64\_feature son funciones que convierten los datos a los tipos aceptados por tf.train.Example.

- **Creación de tf.train.Example**: Esto encapsula los datos de cada ejemplo (imagen + etiqueta) en un formato que puede escribirse en TFRecord.

- **Escritura en TFRecord**: Utilizamos TFRecordWriter para escribir cada Example en el archivo TFRecord.

- **Lectura de TFRecord**: Utilizamos tf.data.TFRecordDataset para leer el archivo y parse\_tfrecord\_fn para decodificar los datos almacenados.

Este formato es eficiente para proyectos de machine learning, especialmente cuando se trabaja con grandes volúmenes de datos, ya que **TFRecord** permite una lectura rápida en paralelo y una integración perfecta con el flujo de trabajo de TensorFlow.

Jhon Freddy Tavera Blandon

student•

Por qué usar TFRecord

Eficiencia: Al estar en formato binario, los archivos TFRecord son más pequeños y rápidos de procesar en comparación con formatos como CSV o JSON.

Compatibilidad: TensorFlow maneja eficientemente los archivos TFRecord, permitiendo la creación de pipelines de datos escalables para entrenar modelos con grandes volúmenes de datos.

Flexibilidad: TFRecord puede almacenar cualquier tipo de datos, desde imágenes hasta secuencias de texto, proporcionando una estructura de almacenamiento flexible.

Rodrigo Martinez

student•

No siempre tendremos herramientas para automatizar muchos de estos procesos por lo que aprender los fundamentos de como funcionan es imprescindible para saber cual herramienta tenemos a nuestro alcance y como utilizarlas.

def create_csv(data, dataset_type):
	csv_list = []
	for classification in data:
		width, height = classification['width'], classification['height']
		image_name = classification['image']
		for item in classification['tags']:
			name = item['name']
			xmin = item['x']
			ymin = item['y']
			xmax = xmin + item['w']
			ymax = ymin + item['h']
			values = (image_name, width, height, name, xmin, ymin, xmax, ymax)
			csv_list.append(values)
	column_names = ['filename', 'width', 'height', 'classname', 'xmin', 'ymin', 'xmax', 'ymax']
	csv_df = pd.DataFrame(csv_list, columns=column_names)
	csv_df.to_csv(f"/content/{dataset_type}_labels.csv")

Transforma tu base de datos a TFRecord

Comprender la visión computarizada

¿Por qué aprender computer vision?

¿Qué es la visión computarizada?

Tipos de visión computarizada

Introducción a object detection: clasificación + localización

Aprende a identificar problemas

Dimensionamiento de proyecto de visión computarizada

Cómo definir los tiempos de tu proyecto

Cómo costear tu proyecto

Cómo identificar los roles necesarios en el proyecto

Producto mínimo viable en computer vision

Obtención y procesamiento de los datos

Obtención de datos para tu proyecto

Limpieza de la base de datos

Distribución de datos en entrenamiento y testeo

Etiquetado de los datos de test

Etiquetado de los datos de train

Transforma tu base de datos a TFRecord

Transformar CSV a TFRecord

Entrena, testea y optimiza tus modelos

Librerías a importar durante fase de entrenamiento

Fase de entrenamiento del modelo

Balanceo de imágenes y data augmentation

Entrena, evalua y optimiza con TensorBoard

Validación de modelo en un entorno de ejecución

Re-entrenamiento del modelo para obtener mejores resultados

Seguimiento de centroides con OpenCV

Configuración de los centroides con OpenCV

Algoritmo de dirección y conteo con OpenCV

Crea un ciclo de entrenamiento de tu modelo: MLOps

Producto con visión computarizada en producción

Prepara tu entorno en Google Cloud Platform

Carga y preprocesamiento de modelos

Postprocesamiento de modelos

Despliega y consume tu modelo en producción

Bonus: aprende a apagar las máquinas de GCP para evitar sobrecostos

Siguientes pasos en inteligencia artificial

Siguientes pasos en inteligencia artificial

Comparte tu proyecto de detección de vehículos en carretera y certifícate