Cursos Empresas Blog Live Conf Eventos Precios

0:0016:07

Transforma tu base de datos a TFRecord

Curso Profesional de Computer Vision con TensorFlow

Clase 15 / 33

Ver clases

Transforma tu base de datos a TFRecord

Curso Profesional de Computer Vision con TensorFlow

Clase 15 de 33

Clase 15 / 33

Transforma tu base de datos a TFRecord

Curso Profesional de Computer Vision con TensorFlow

Clase 15 / 33

Ver clases

Mario Alexander Vargas Celis

Hace 2 años

El formato **TFRecord** es un formato binario desarrollado por TensorFlow que permite almacenar grandes cantidades de datos de manera eficiente, especialmente útil para conjuntos de datos que contienen imágenes y etiquetas, o cualquier dato que desees procesar con TensorFlow. A continuación, te explico cómo transformar tu base de datos a TFRecord.

### Pasos para convertir una base de datos a TFRecord

Supongamos que tienes imágenes y sus etiquetas en un archivo CSV. Para este ejemplo, imaginemos que el archivo train\_labels.csv tiene el siguiente formato:


filename,label

imagen\_001.jpg,0

imagen\_002.jpg,1

...

1. **Importar bibliotecas necesarias**:

```python

import os

import tensorflow as tf

import pandas as pd

from PIL import Image

```

2. **Definir funciones para la conversión a TFRecord**:

La clave está en convertir los datos a un formato compatible con **tf.train.Example** y luego escribirlos en un archivo .tfrecord.

```python

# Función para convertir los tipos de datos

def _bytes_feature(value):

return tf.train.Feature(bytes_list=tf.train.BytesList(value=[value]))

def _int64_feature(value):

return tf.train.Feature(int64_list=tf.train.Int64List(value=[value]))

# Función para crear un tf.train.Example

def create_example(image_path, label):

# Leer y convertir la imagen a bytes

with open(image_path, 'rb') as img_file:

image_data = img_file.read()

# Crear un diccionario de características

feature = {

'image': _bytes_feature(image_data),

'label': _int64_feature(label)

}

# Convertir el diccionario en un tf.train.Example

example = tf.train.Example(features=tf.train.Features(feature=feature))

return example

```

3. **Cargar etiquetas y escribir el archivo TFRecord**:

Lee el archivo CSV y escribe los datos en formato TFRecord.

```python

# Rutas y archivos

csv_file = 'train_labels.csv'

image_folder = 'path/to/images'

output_tfrecord = 'train_data.tfrecord'

# Leer el archivo CSV

df = pd.read_csv(csv_file)

# Crear el archivo TFRecord

with tf.io.TFRecordWriter(output_tfrecord) as writer:

for _, row in df.iterrows():

image_path = os.path.join(image_folder, row['filename'])

label = int(row['label'])

# Crear tf.train.Example para cada imagen y etiqueta

example = create_example(image_path, label)

# Escribir en el archivo TFRecord

writer.write(example.SerializeToString())

```

4. **Leer y verificar el archivo TFRecord**:

Una vez que tienes el archivo TFRecord, verifica que los datos se han guardado correctamente.

```python

# Función para leer el TFRecord

def parse_tfrecord_fn(example):

feature_description = {

'image': tf.io.FixedLenFeature([], tf.string),

'label': tf.io.FixedLenFeature([], tf.int64),

}

example = tf.io.parse_single_example(example, feature_description)

example['image'] = tf.io.decode_jpeg(example['image']) # Decodifica imagenes JPEG

return example['image'], example['label']

# Cargar el dataset desde el archivo TFRecord

raw_dataset = tf.data.TFRecordDataset(output_tfrecord)

parsed_dataset = raw_dataset.map(parse_tfrecord_fn)

# Imprimir algunos ejemplos

for image, label in parsed_dataset.take(5):

print("Etiqueta:", label.numpy())

print("Imagen:", image.numpy().shape) # Mostrar la forma de la imagen

```

### Explicación de los pasos

- **Conversión de tipos de datos**: \_bytes\_feature y \_int64\_feature son funciones que convierten los datos a los tipos aceptados por tf.train.Example.

- **Creación de tf.train.Example**: Esto encapsula los datos de cada ejemplo (imagen + etiqueta) en un formato que puede escribirse en TFRecord.

- **Escritura en TFRecord**: Utilizamos TFRecordWriter para escribir cada Example en el archivo TFRecord.

- **Lectura de TFRecord**: Utilizamos tf.data.TFRecordDataset para leer el archivo y parse\_tfrecord\_fn para decodificar los datos almacenados.

Este formato es eficiente para proyectos de machine learning, especialmente cuando se trabaja con grandes volúmenes de datos, ya que **TFRecord** permite una lectura rápida en paralelo y una integración perfecta con el flujo de trabajo de TensorFlow.

Transforma tu base de datos a TFRecord

Transforma tu base de datos a TFRecord

Transforma tu base de datos a TFRecord

Progreso del curso

Comprender la visión computarizada

Dimensionamiento de proyecto de visión computarizada

Obtención y procesamiento de los datos

Entrena, testea y optimiza tus modelos

Producto con visión computarizada en producción

Siguientes pasos en inteligencia artificial

Transforma tu base de datos a TFRecord

Transforma tu base de datos a TFRecord

Comentarios

Comentarios