Transforma tu base de datos a TFRecord

Curso Profesional de Computer Vision con TensorFlow

Contenido del curso

Comprender la visión computarizada

Dimensionamiento de proyecto de visión computarizada

Obtención y procesamiento de los datos

Entrena, testea y optimiza tus modelos

Producto con visión computarizada en producción

Siguientes pasos en inteligencia artificial

Tomar examen

Transforma tu base de datos a TFRecord

Mario Alexander Vargas Celis

Estudiante

El formato **TFRecord** es un formato binario desarrollado por TensorFlow que permite almacenar grandes cantidades de datos de manera eficiente, especialmente útil para conjuntos de datos que contienen imágenes y etiquetas, o cualquier dato que desees procesar con TensorFlow. A continuación, te explico cómo transformar tu base de datos a TFRecord.

### Pasos para convertir una base de datos a TFRecord

Supongamos que tienes imágenes y sus etiquetas en un archivo CSV. Para este ejemplo, imaginemos que el archivo train\_labels.csv tiene el siguiente formato:


filename,label

imagen\_001.jpg,0

imagen\_002.jpg,1

...

1. **Importar bibliotecas necesarias**:

```python

import os

import tensorflow as tf

import pandas as pd

from PIL import Image

```

2. **Definir funciones para la conversión a TFRecord**:

La clave está en convertir los datos a un formato compatible con **tf.train.Example** y luego escribirlos en un archivo .tfrecord.

```python

# Función para convertir los tipos de datos

def _bytes_feature(value):

return tf.train.Feature(bytes_list=tf.train.BytesList(value=[value]))

def _int64_feature(value):

return tf.train.Feature(int64_list=tf.train.Int64List(value=[value]))

# Función para crear un tf.train.Example

def create_example(image_path, label):

# Leer y convertir la imagen a bytes

with open(image_path, 'rb') as img_file:

image_data = img_file.read()

# Crear un diccionario de características

feature = {

'image': _bytes_feature(image_data),

'label': _int64_feature(label)

}

# Convertir el diccionario en un tf.train.Example

example = tf.train.Example(features=tf.train.Features(feature=feature))

return example

```

3. **Cargar etiquetas y escribir el archivo TFRecord**:

Lee el archivo CSV y escribe los datos en formato TFRecord.

```python

# Rutas y archivos

csv_file = 'train_labels.csv'

image_folder = 'path/to/images'

output_tfrecord = 'train_data.tfrecord'

# Leer el archivo CSV

df = pd.read_csv(csv_file)

# Crear el archivo TFRecord

with tf.io.TFRecordWriter(output_tfrecord) as writer:

for _, row in df.iterrows():

image_path = os.path.join(image_folder, row['filename'])

label = int(row['label'])

# Crear tf.train.Example para cada imagen y etiqueta

example = create_example(image_path, label)

# Escribir en el archivo TFRecord

writer.write(example.SerializeToString())

```

4. **Leer y verificar el archivo TFRecord**:

Una vez que tienes el archivo TFRecord, verifica que los datos se han guardado correctamente.

```python

# Función para leer el TFRecord

def parse_tfrecord_fn(example):

feature_description = {

'image': tf.io.FixedLenFeature([], tf.string),

'label': tf.io.FixedLenFeature([], tf.int64),

}

example = tf.io.parse_single_example(example, feature_description)

example['image'] = tf.io.decode_jpeg(example['image']) # Decodifica imagenes JPEG

return example['image'], example['label']

# Cargar el dataset desde el archivo TFRecord

raw_dataset = tf.data.TFRecordDataset(output_tfrecord)

parsed_dataset = raw_dataset.map(parse_tfrecord_fn)

# Imprimir algunos ejemplos

for image, label in parsed_dataset.take(5):

print("Etiqueta:", label.numpy())

print("Imagen:", image.numpy().shape) # Mostrar la forma de la imagen

```

### Explicación de los pasos

- **Conversión de tipos de datos**: \_bytes\_feature y \_int64\_feature son funciones que convierten los datos a los tipos aceptados por tf.train.Example.

- **Creación de tf.train.Example**: Esto encapsula los datos de cada ejemplo (imagen + etiqueta) en un formato que puede escribirse en TFRecord.

- **Escritura en TFRecord**: Utilizamos TFRecordWriter para escribir cada Example en el archivo TFRecord.

- **Lectura de TFRecord**: Utilizamos tf.data.TFRecordDataset para leer el archivo y parse\_tfrecord\_fn para decodificar los datos almacenados.

Este formato es eficiente para proyectos de machine learning, especialmente cuando se trabaja con grandes volúmenes de datos, ya que **TFRecord** permite una lectura rápida en paralelo y una integración perfecta con el flujo de trabajo de TensorFlow.

Transforma tu base de datos a TFRecord

Comprender la visión computarizada

¿Por qué aprender computer vision?

¿Qué es la visión computarizada?

Tipos de visión computarizada

Introducción a object detection: clasificación + localización

Aprende a identificar problemas

Dimensionamiento de proyecto de visión computarizada

Cómo definir los tiempos de tu proyecto

Cómo costear tu proyecto

Cómo identificar los roles necesarios en el proyecto

Producto mínimo viable en computer vision

Obtención y procesamiento de los datos

Obtención de datos para tu proyecto

Limpieza de la base de datos

Distribución de datos en entrenamiento y testeo

Etiquetado de los datos de test

Etiquetado de los datos de train