Limpieza de la base de datos

Curso Profesional de Computer Vision con TensorFlow

Contenido del curso

Comprender la visión computarizada

Dimensionamiento de proyecto de visión computarizada

Obtención y procesamiento de los datos

Entrena, testea y optimiza tus modelos

Producto con visión computarizada en producción

Siguientes pasos en inteligencia artificial

Tomar examen

Cursos Empresas Blog Live Conf Eventos Precios

0:003:19

Limpieza de la base de datos

Curso Profesional de Computer Vision con TensorFlow

Clase 11 de 33

Clase 11 / 33

Mario Alexander Vargas Celis

Hace 2 años

La limpieza de una base de datos es una etapa crucial en el procesamiento de datos, especialmente en proyectos de visión computarizada, machine learning y otros análisis que requieren datos de alta calidad. Aquí tienes una guía paso a paso para realizar la limpieza de una base de datos.

### 1. **Identificar y eliminar duplicados**

- Los duplicados pueden sesgar el modelo si están presentes en el conjunto de entrenamiento, y su detección es esencial.

- **Método**: Utiliza funciones para identificar duplicados, como drop\_duplicates() en pandas, o elimina imágenes duplicadas mediante hash de archivos (por ejemplo, usando la función hashlib en Python para verificar similitudes).

### 2. **Gestionar datos faltantes**

- Los datos incompletos (valores nulos o imágenes con contenido dañado) pueden dificultar el entrenamiento del modelo o distorsionar el análisis.

- **Soluciones**:

- **Eliminar filas/columnas**: Si los datos faltantes son pocos, puedes eliminarlos.

- **Imputación**: Completa valores faltantes usando media, mediana o modelos predictivos.

- **Relleno**: Si el proyecto es de imágenes, asegúrate de que cada archivo de imagen esté accesible y en el formato adecuado.

### 3. **Estandarizar formatos de datos**

- Asegúrate de que los valores en las columnas sigan el mismo formato (fechas, nombres, categorías).

- **Ejemplo**: Convertir todas las fechas a un mismo formato (YYYY-MM-DD) y normalizar categorías (p. ej., “auto” y “coche” como “auto”).

### 4. **Corrección de valores atípicos (outliers)**

- Los valores atípicos o extremos pueden afectar el rendimiento del modelo.

- **Método**: Usa estadísticas descriptivas o visualizaciones (como gráficos de caja) para identificar valores atípicos y decidir si deben eliminarse o tratarse.

### 5. **Ajuste de datos inconsistentes o erróneos**

- Asegúrate de que todos los datos sean coherentes (por ejemplo, que las etiquetas y categorías de las imágenes en un proyecto de clasificación de objetos sean precisas).

- **Ejemplo**: En una base de datos de imágenes, verifica que cada imagen etiquetada como "perro" contenga efectivamente un perro.

### 6. **Normalización y escalado de datos**

- La normalización y escalado son especialmente importantes en el preprocesamiento para modelos de machine learning.

- **Métodos comunes**:

- **Escalado Min-Max**: Escala los datos para que estén dentro de un rango (por ejemplo, [0, 1]).

- **Normalización Z-score**: Ajusta los datos a una distribución con media 0 y desviación estándar 1.

### 7. **Estandarizar la estructura de archivos (si trabajas con datos de imágenes)**

- Organiza los archivos en carpetas o rutas claras, etiquetadas por categorías o clases (como en el caso de proyectos de clasificación de imágenes).

- **Ejemplo**: Crea carpetas como data/cats/ y data/dogs/ para clasificar imágenes de gatos y perros, respectivamente.

### 8. **Documentar cambios**

- Lleva un registro de los cambios realizados durante la limpieza de datos, especialmente si estás trabajando en equipo.

- **Método**: Usa herramientas de versionado o archivos de registro (log files) donde anotes los procesos y cambios aplicados a la base de datos.

### Ejemplo de limpieza de base de datos en Python con pandas

Para un conjunto de datos en formato tabular, podrías realizar limpieza básica con pandas:


import pandas as pd



\# Cargar la base de datos

df = pd.read\_csv('mi\_base\_de\_datos.csv')



\# Eliminar duplicados

df = df.drop\_duplicates()



\# Eliminar filas con valores nulos en una columna específica

df = df.dropna(subset=\['columna\_relevante'])



\# Rellenar valores nulos en una columna con la mediana

df\['otra\_columna'] = df\['otra\_columna'].fillna(df\['otra\_columna'].median())



\# Estandarizar el formato de fechas

df\['fecha'] = pd.to\_datetime(df\['fecha'], errors='coerce')



\# Identificar y eliminar valores atípicos (outliers)

q\_low = df\["valor"].quantile(0.01)

q\_hi  = df\["valor"].quantile(0.99)

df\_filtered = df\[(df\["valor"] > q\_low) & (df\["valor"] < q\_hi)]



\# Guardar la base de datos limpia

df\_filtered.to\_csv('mi\_base\_de\_datos\_limpia.csv', index=False)

### Herramientas adicionales

Para proyectos más grandes, puedes considerar herramientas especializadas como:

- **OpenRefine**: Para limpieza avanzada y transformaciones en datos tabulares.

- **Dask** o **Apache Spark**: Para limpiar grandes volúmenes de datos.

- **Fastdup**: Para detectar y eliminar imágenes duplicadas en bases de datos visuales.

La limpieza de la base de datos es esencial para garantizar que tu modelo o análisis tenga un buen desempeño y esté libre de sesgos o errores involuntarios causados por datos de baja calidad.

Comprender la visión computarizada

¿Por qué aprender computer vision?

¿Qué es la visión computarizada?

Tipos de visión computarizada

Introducción a object detection: clasificación + localización

Aprende a identificar problemas

Dimensionamiento de proyecto de visión computarizada

Cómo definir los tiempos de tu proyecto

Cómo costear tu proyecto

Cómo identificar los roles necesarios en el proyecto

Producto mínimo viable en computer vision

Obtención y procesamiento de los datos

Obtención de datos para tu proyecto

Limpieza de la base de datos

Distribución de datos en entrenamiento y testeo

Etiquetado de los datos de test

Etiquetado de los datos de train

Transforma tu base de datos a TFRecord

Transformar CSV a TFRecord

Entrena, testea y optimiza tus modelos

Librerías a importar durante fase de entrenamiento

Fase de entrenamiento del modelo

Balanceo de imágenes y data augmentation

Entrena, evalua y optimiza con TensorBoard

Validación de modelo en un entorno de ejecución

Re-entrenamiento del modelo para obtener mejores resultados

Seguimiento de centroides con OpenCV

Configuración de los centroides con OpenCV

Algoritmo de dirección y conteo con OpenCV

Crea un ciclo de entrenamiento de tu modelo: MLOps

Producto con visión computarizada en producción

Prepara tu entorno en Google Cloud Platform

Carga y preprocesamiento de modelos

Postprocesamiento de modelos

Despliega y consume tu modelo en producción

Bonus: aprende a apagar las máquinas de GCP para evitar sobrecostos

Siguientes pasos en inteligencia artificial

Siguientes pasos en inteligencia artificial

Comparte tu proyecto de detección de vehículos en carretera y certifícate

Limpieza de la base de datos