Balanceo de imágenes y data augmentation

Curso Profesional de Computer Vision con TensorFlow

Contenido del curso

Comprender la visión computarizada

Dimensionamiento de proyecto de visión computarizada

Obtención y procesamiento de los datos

Entrena, testea y optimiza tus modelos

Producto con visión computarizada en producción

Siguientes pasos en inteligencia artificial

Tomar examen

Cursos Empresas Blog Live Conf Eventos Precios

0:0015:54

Balanceo de imágenes y data augmentation

Curso Profesional de Computer Vision con TensorFlow

Clase 19 de 33

Clase 19 / 33

Mario Alexander Vargas Celis

Hace 2 años

El balanceo de clases y la **data augmentation** son pasos importantes en el procesamiento de datos para modelos de visión computarizada, especialmente cuando trabajamos con conjuntos de datos desequilibrados o insuficientes. Aquí te explico ambos conceptos y cómo implementarlos en TensorFlow.

### 1. **Balanceo de Imágenes**

El balanceo de clases es esencial cuando las clases en un conjunto de datos están desproporcionadas, es decir, cuando algunas clases tienen muchas más imágenes que otras. Esto puede llevar a que el modelo esté sesgado hacia las clases mayoritarias.

#### Métodos comunes para el balanceo:

- **Oversampling**: Se replican las imágenes de las clases minoritarias hasta equilibrar la proporción.

- **Undersampling**: Se reduce el número de imágenes de las clases mayoritarias.

- **Data Augmentation**: Generación de nuevas imágenes mediante transformaciones.

En TensorFlow, puedes combinar tf.data.Dataset con técnicas de data augmentation para balancear el conjunto de datos.

### 2. **Data Augmentation**

La **data augmentation** aumenta la diversidad de datos mediante transformaciones aleatorias, ayudando a mejorar la generalización del modelo. Algunas transformaciones comunes incluyen:

- Rotación

- Volteo horizontal o vertical

- Zoom y recorte

- Ajuste de brillo y contraste

- Desplazamientos horizontales o verticales

### Implementación de Balanceo y Data Augmentation en TensorFlow

#### Paso 1: Definir las transformaciones de data augmentation

Usaremos las capas de tf.keras.layers para definir transformaciones de data augmentation que se aplicarán a cada imagen durante el entrenamiento.


from tensorflow.keras import layers



data\_augmentation = tf.keras.Sequential(\[

&#x20;   layers.RandomFlip("horizontal\_and\_vertical"),  # Volteo horizontal y vertical

&#x20;   layers.RandomRotation(0.2),                    # Rotación

&#x20;   layers.RandomZoom(0.1),                        # Zoom

&#x20;   layers.RandomContrast(0.2),                    # Contraste

])

#### Paso 2: Aplicar data augmentation y balanceo al conjunto de datos

Suponiendo que tienes tu conjunto de datos cargado en formato TFRecord, puedes aplicar data\_augmentation y balancear las clases mediante oversampling.


import tensorflow as tf



\# Función de preprocesamiento y augmentación

def preprocess\_and\_augment(image, label):

&#x20;   image = tf.image.resize(image, \[128, 128])   # Ajuste de tamaño

&#x20;   image = tf.cast(image, tf.float32) / 255.0   # Normalización

&#x20;   image = data\_augmentation(image)             # Aplicación de augmentación

&#x20;   return image, label



\# Cargar el conjunto de datos

train\_dataset = tf.data.TFRecordDataset('train\_data.tfrecord')

train\_dataset = train\_dataset.map(parse\_tfrecord\_fn)



\# Balanceo mediante oversampling

def balance\_dataset(dataset, minority\_class\_size, batch\_size=32):

&#x20;   minority\_class = dataset.filter(lambda image, label: label == 1)

&#x20;   majority\_class = dataset.filter(lambda image, label: label == 0)



&#x20;   \# Oversampling de la clase minoritaria

&#x20;   minority\_class = minority\_class.repeat(int(minority\_class\_size / len(minority\_class)))



&#x20;   \# Mezclar y combinar ambas clases

&#x20;   balanced\_dataset = majority\_class.concatenate(minority\_class)

&#x20;   balanced\_dataset = balanced\_dataset.shuffle(buffer\_size=1000).batch(batch\_size).prefetch(tf.data.AUTOTUNE)

&#x20;  &#x20;

&#x20;   return balanced\_dataset



\# Aplicar preprocess y augmentación

train\_dataset = train\_dataset.map(preprocess\_and\_augment)

train\_dataset = balance\_dataset(train\_dataset, minority\_class\_size=1000)

#### Paso 3: Entrenamiento con dataset balanceado y aumentado

Usa el conjunto de datos balanceado y aumentado en el modelo para el entrenamiento.


\# Definición del modelo (Ejemplo)

model = tf.keras.Sequential(\[

&#x20;   layers.Conv2D(32, (3, 3), activation='relu', input\_shape=(128, 128, 3)),

&#x20;   layers.MaxPooling2D((2, 2)),

&#x20;   layers.Conv2D(64, (3, 3), activation='relu'),

&#x20;   layers.MaxPooling2D((2, 2)),

&#x20;   layers.Conv2D(64, (3, 3), activation='relu'),

&#x20;   layers.Flatten(),

&#x20;   layers.Dense(64, activation='relu'),

&#x20;   layers.Dense(10, activation='softmax')  # Asumiendo 10 clases

])



\# Compilación y entrenamiento

model.compile(optimizer='adam',

&#x20;             loss='sparse\_categorical\_crossentropy',

&#x20;             metrics=\['accuracy'])



model.fit(train\_dataset, epochs=10)

### Explicación del código

1. **Definición de data augmentation**: Creamos una secuencia de capas de augmentación con tf.keras.layers.

2. **Balanceo del dataset**: Usamos oversampling de la clase minoritaria repitiéndola hasta equilibrar las clases.

3. **Preprocesamiento y augmentación**: Ajustamos el tamaño, normalizamos, y aplicamos augmentación a cada imagen del conjunto.

4. **Entrenamiento**: Entrenamos el modelo con el dataset balanceado y aumentado.

Esta combinación de data augmentation y balanceo mejora la capacidad del modelo para generalizar y reducir el sesgo hacia clases más representadas.

Comentarios (15)15 comentarios

ivan josue ortiz alban

Hace 5 años

Carlos Isael Ramírez González

Hace 4 años

Jesús Lautaro Careglio Albornoz

Adonai Vera

Profesor

Cristian Barros

Hace 3 años

MICHAEL LEONARDO AGUAS MURILLO

Brandon F Vargas Garcia

Hace un año

Raul Perez-Alejo Neyra

Rafael Rivera

Cristian Ivan Valdez Solis

Jhon Freddy Tavera Blandon

Sebastian Sarasti

María Camila Durango Barrera

Jesus Lopez

Comprender la visión computarizada

¿Por qué aprender computer vision?

¿Qué es la visión computarizada?

Tipos de visión computarizada

Introducción a object detection: clasificación + localización

Aprende a identificar problemas

Dimensionamiento de proyecto de visión computarizada

Cómo definir los tiempos de tu proyecto

Cómo costear tu proyecto

Cómo identificar los roles necesarios en el proyecto

Producto mínimo viable en computer vision

Obtención y procesamiento de los datos

Obtención de datos para tu proyecto

Limpieza de la base de datos

Distribución de datos en entrenamiento y testeo

Etiquetado de los datos de test

Etiquetado de los datos de train

Transforma tu base de datos a TFRecord

Transformar CSV a TFRecord

Entrena, testea y optimiza tus modelos

Librerías a importar durante fase de entrenamiento

Fase de entrenamiento del modelo

Balanceo de imágenes y data augmentation

Entrena, evalua y optimiza con TensorBoard

Validación de modelo en un entorno de ejecución

Re-entrenamiento del modelo para obtener mejores resultados

Seguimiento de centroides con OpenCV

Configuración de los centroides con OpenCV

Algoritmo de dirección y conteo con OpenCV

Crea un ciclo de entrenamiento de tu modelo: MLOps

Producto con visión computarizada en producción

Prepara tu entorno en Google Cloud Platform

Carga y preprocesamiento de modelos

Postprocesamiento de modelos

Despliega y consume tu modelo en producción

Bonus: aprende a apagar las máquinas de GCP para evitar sobrecostos

Siguientes pasos en inteligencia artificial

Siguientes pasos en inteligencia artificial

Comparte tu proyecto de detección de vehículos en carretera y certifícate

Balanceo de imágenes y data augmentation