Transforma tu base de datos a TFRecord

Curso Profesional de Computer Vision con TensorFlow

Contenido del curso

Comprender la visión computarizada

Dimensionamiento de proyecto de visión computarizada

Obtención y procesamiento de los datos

Entrena, testea y optimiza tus modelos

Producto con visión computarizada en producción

Siguientes pasos en inteligencia artificial

Tomar examen

Cursos Empresas Blog Live Conf Eventos Precios

0:0016:07

Transforma tu base de datos a TFRecord

Curso Profesional de Computer Vision con TensorFlow

Clase 15 de 33

Clase 15 / 33

Mario Alexander Vargas Celis

Hace 2 años

El formato **TFRecord** es un formato binario desarrollado por TensorFlow que permite almacenar grandes cantidades de datos de manera eficiente, especialmente útil para conjuntos de datos que contienen imágenes y etiquetas, o cualquier dato que desees procesar con TensorFlow. A continuación, te explico cómo transformar tu base de datos a TFRecord.

### Pasos para convertir una base de datos a TFRecord

Supongamos que tienes imágenes y sus etiquetas en un archivo CSV. Para este ejemplo, imaginemos que el archivo train\_labels.csv tiene el siguiente formato:


filename,label

imagen\_001.jpg,0

imagen\_002.jpg,1

...

1. **Importar bibliotecas necesarias**:

```python

import os

import tensorflow as tf

import pandas as pd

from PIL import Image

```

2. **Definir funciones para la conversión a TFRecord**:

La clave está en convertir los datos a un formato compatible con **tf.train.Example** y luego escribirlos en un archivo .tfrecord.

```python

# Función para convertir los tipos de datos

def _bytes_feature(value):

return tf.train.Feature(bytes_list=tf.train.BytesList(value=[value]))

def _int64_feature(value):

return tf.train.Feature(int64_list=tf.train.Int64List(value=[value]))

# Función para crear un tf.train.Example

def create_example(image_path, label):

# Leer y convertir la imagen a bytes

with open(image_path, 'rb') as img_file:

image_data = img_file.read()

# Crear un diccionario de características

feature = {

'image': _bytes_feature(image_data),

'label': _int64_feature(label)

}

# Convertir el diccionario en un tf.train.Example

example = tf.train.Example(features=tf.train.Features(feature=feature))

return example

```

3. **Cargar etiquetas y escribir el archivo TFRecord**:

Lee el archivo CSV y escribe los datos en formato TFRecord.

```python

# Rutas y archivos

csv_file = 'train_labels.csv'

image_folder = 'path/to/images'

output_tfrecord = 'train_data.tfrecord'

# Leer el archivo CSV

df = pd.read_csv(csv_file)

# Crear el archivo TFRecord

with tf.io.TFRecordWriter(output_tfrecord) as writer:

for _, row in df.iterrows():

image_path = os.path.join(image_folder, row['filename'])

label = int(row['label'])

# Crear tf.train.Example para cada imagen y etiqueta

example = create_example(image_path, label)

# Escribir en el archivo TFRecord

writer.write(example.SerializeToString())

```

4. **Leer y verificar el archivo TFRecord**:

Una vez que tienes el archivo TFRecord, verifica que los datos se han guardado correctamente.

```python

# Función para leer el TFRecord

def parse_tfrecord_fn(example):

feature_description = {

'image': tf.io.FixedLenFeature([], tf.string),

'label': tf.io.FixedLenFeature([], tf.int64),

}

example = tf.io.parse_single_example(example, feature_description)

example['image'] = tf.io.decode_jpeg(example['image']) # Decodifica imagenes JPEG

return example['image'], example['label']

# Cargar el dataset desde el archivo TFRecord

raw_dataset = tf.data.TFRecordDataset(output_tfrecord)

parsed_dataset = raw_dataset.map(parse_tfrecord_fn)

# Imprimir algunos ejemplos

for image, label in parsed_dataset.take(5):

print("Etiqueta:", label.numpy())

print("Imagen:", image.numpy().shape) # Mostrar la forma de la imagen

```

### Explicación de los pasos

- **Conversión de tipos de datos**: \_bytes\_feature y \_int64\_feature son funciones que convierten los datos a los tipos aceptados por tf.train.Example.

- **Creación de tf.train.Example**: Esto encapsula los datos de cada ejemplo (imagen + etiqueta) en un formato que puede escribirse en TFRecord.

- **Escritura en TFRecord**: Utilizamos TFRecordWriter para escribir cada Example en el archivo TFRecord.

- **Lectura de TFRecord**: Utilizamos tf.data.TFRecordDataset para leer el archivo y parse\_tfrecord\_fn para decodificar los datos almacenados.

Este formato es eficiente para proyectos de machine learning, especialmente cuando se trabaja con grandes volúmenes de datos, ya que **TFRecord** permite una lectura rápida en paralelo y una integración perfecta con el flujo de trabajo de TensorFlow.

Comprender la visión computarizada

¿Por qué aprender computer vision?

¿Qué es la visión computarizada?

Tipos de visión computarizada

Introducción a object detection: clasificación + localización

Aprende a identificar problemas

Dimensionamiento de proyecto de visión computarizada

Cómo definir los tiempos de tu proyecto

Cómo costear tu proyecto

Cómo identificar los roles necesarios en el proyecto

Producto mínimo viable en computer vision

Obtención y procesamiento de los datos

Obtención de datos para tu proyecto

Limpieza de la base de datos

Distribución de datos en entrenamiento y testeo

Etiquetado de los datos de test

Etiquetado de los datos de train

Transforma tu base de datos a TFRecord

Transformar CSV a TFRecord

Entrena, testea y optimiza tus modelos

Librerías a importar durante fase de entrenamiento

Fase de entrenamiento del modelo

Balanceo de imágenes y data augmentation

Entrena, evalua y optimiza con TensorBoard

Validación de modelo en un entorno de ejecución

Re-entrenamiento del modelo para obtener mejores resultados

Seguimiento de centroides con OpenCV

Configuración de los centroides con OpenCV

Algoritmo de dirección y conteo con OpenCV

Crea un ciclo de entrenamiento de tu modelo: MLOps

Producto con visión computarizada en producción

Prepara tu entorno en Google Cloud Platform

Carga y preprocesamiento de modelos

Postprocesamiento de modelos

Despliega y consume tu modelo en producción

Bonus: aprende a apagar las máquinas de GCP para evitar sobrecostos

Siguientes pasos en inteligencia artificial

Siguientes pasos en inteligencia artificial

Comparte tu proyecto de detección de vehículos en carretera y certifícate

Transforma tu base de datos a TFRecord