Métricas Clave en el Perfilado de Datos para Análisis de Calidad

Clase 10 de 24 • Curso de ETL e ingesta de datos con Python

Mario Alexander Vargas Celis

student•

El análisis de calidad y el perfilado de datos son pasos fundamentales en cualquier flujo de trabajo de datos. Pandas ofrece herramientas poderosas para calcular métricas de calidad y realizar el perfilado inicial. Aquí hay una guía sobre cómo puedes lograrlo.

1. Métricas de Calidad de Datos

a) Valores Nulos

Identificar y manejar valores nulos es clave para mantener la calidad de los datos.

# Total de valores nulos por columna print(df.isnull().sum())

# Porcentaje de valores nulos por columna print(df.isnull().mean() * 100)

b) Duplicados

Detectar registros duplicados ayuda a evitar inconsistencias.

# Identificar duplicados duplicados = df.duplicated()

# Contar registros duplicados print("Registros duplicados:", duplicados.sum())

# Eliminar duplicados df_sin_duplicados = df.drop_duplicates()

c) Consistencia de tipos de datos

Verificar si las columnas tienen los tipos correctos.

print(df.dtypes) # Tipos de datos por columna

Si hay inconsistencias, puedes convertir tipos:

df['columna'] = df['columna'].astype(float) # Cambiar tipo a float

d) Rangos de valores

Comprobar valores atípicos (outliers) y rangos incorrectos.

# Resumen estadístico print(df.describe())

# Filtrar valores fuera de un rango esperado outliers = df[df['columna'] > 1000] print(outliers)

2. Perfilado de Datos

a) Resúmenes básicos

Obtener una visión general de las estadísticas de las columnas.

# Resumen estadístico general print(df.describe(include='all')) # Incluir datos no numéricos

b) Distribución de datos

Ver la distribución de valores únicos y sus frecuencias.

# Contar valores únicos por columna print(df['columna'].value_counts())

# Proporción de cada valor print(df['columna'].value_counts(normalize=True) * 100)

c) Detección de cardinalidad

Identificar columnas con alta o baja cardinalidad.

# Número de valores únicos print(df.nunique())

3. Visualización de Calidad y Perfilado

Usar gráficos ayuda a detectar problemas rápidamente.

a) Valores Nulos

Visualizar columnas con muchos valores faltantes.

import seaborn as sns import matplotlib.pyplot as plt

sns.heatmap(df.isnull(), cbar=False, cmap='viridis') plt.title("Mapa de Valores Nulos") plt.show()

b) Distribución de Datos

Examinar la distribución de las columnas.

df['columna'].hist(bins=30) plt.title("Distribución de la columna") plt.xlabel("Valores") plt.ylabel("Frecuencia") plt.show()

4. Herramientas Avanzadas de Perfilado

Si deseas un perfilado automático y detallado de los datos, puedes usar bibliotecas especializadas.

a) Pandas Profiling

Genera reportes interactivos del perfilado de datos.

pip install pandas-profiling from pandas_profiling import ProfileReport

# Crear el reporte profile = ProfileReport(df, title="Reporte de Perfilado de Datos", explorative=True)

# Mostrar el reporte en Jupyter profile.to_notebook_iframe()

# Guardar el reporte en un archivo HTML profile.to_file("reporte.html")

b) Sweetviz

Otra herramienta para el análisis exploratorio de datos.

pip install sweetviz import sweetviz as sv

# Crear y mostrar el reporte reporte = sv.analyze(df) reporte.show_html("sweetviz_reporte.html")

5. Ejemplo Completo

import pandas as pd import seaborn as sns import matplotlib.pyplot as plt

# Cargar datos df = pd.read_csv("archivo.csv")

# Inspeccionar valores nulos print("Valores nulos por columna:") print(df.isnull().sum())

# Eliminar duplicados df = df.drop_duplicates()

# Resumen estadístico print("Estadísticas descriptivas:") print(df.describe())

# Visualizar valores nulos sns.heatmap(df.isnull(), cbar=False, cmap='viridis') plt.title("Valores Nulos") plt.show()

# Crear un reporte con Pandas Profiling from pandas_profiling import ProfileReport reporte = ProfileReport(df, title="Perfilado de Datos", explorative=True) reporte.to_file("perfilado.html")

Nelson Alexis Salazar Zuluaga

student•

Muchas gracias Mario!! Excelente aporte

Karla Verónica Álvarez Vázquez

student•

Las métricas de calidad en el perfilado de datos son fundamentales para asegurar que los datos sean confiables y útiles para el análisis.

Completitud: Verifica si hay valores faltantes.
Unicidad: Identifica y cuenta valores duplicados.
Consistencia: Evalúa si los datos cumplen con reglas esperadas (por ejemplo, formato de fechas).
Precisión: Asegura que los datos reflejen la realidad.

Estas métricas ayudan a identificar problemas en los datos y garantizar un análisis sólido.

Sebastián Reyes

student•

Me encanto la clase, es un tema que estoy emocionado de aprender.

Una recomendación sería: poner recursos con un ejemplo donde se lleve a cabo el paso a paso de la métrica. Tal vez se podría hacer un caso de estudio en varias clases, como se hace en el curso de PowerBI.

Layla Scheli

teacher•

Gracias Sebastian, buena idea :)

Sergio de Jesús Huesca Nieva

student•

El ocupar sum e isnull es correcto? No debería ser count()?

Layla Scheli

teacher•

Depende de lo que quieras calcular Sergio, todas las funciones en ese sentido son validas. Me comentas, saludos :)

Juan Pablo Medina Bernal

student•

Ten en cuenta que la columna, en este caso, contiene datos que son el resultado de una operación booleana, los cuales vienen en base binaria (1 y 0).

Al hacer una suma decimal de la columna en mención, básicamente estás sumando cuántos 1 hay, lo cual es análogo a contar los verdaderos.

Por esto, ambos enfoques (sumar y contar) son correctos.

Métricas Clave en el Perfilado de Datos para Análisis de Calidad

Fundamentos de ETL con Python

Procesos ETL: Extracción, Transformación y Carga de Datos

Manipulación de Datos con Python: De CSV a ETL Completo

Fuentes de Datos: Archivos, Bases de Datos y APIs en Análisis de Ventas

Instalación de Anaconda y Jupyter para Procesamiento de Datos

Técnicas Efectivas de Transformación de Datos

Lectura y Exploración de Archivos CSV con Pandas en Python

Manejo de Archivos Excel con Pandas para Procesos ETL

Ingesta de Datos desde APIs con Python

Conexión y consulta de bases de datos en Python con SQLite3 y SQLAlchemy

Series y DataFrames en Pandas: Diferencias y Usos Prácticos

Métricas Clave en el Perfilado de Datos para Análisis de Calidad

Limpieza de Datos en Python con Pandas

Filtrado, Selección y Transformación de Datos con Pandas

Agrupación y Resumen de Datos con Pandas

Manipulación Avanzada de Datos con Python y Pandas

Carga de Datos y Proyecto Final

Exportación de DataFrames a CSV con Pandas paso a paso

Gestión de Datos: Carga Completa vs. Carga Incremental en Python

Partición de Datos en Archivos CSV con Pandas

Carga Incremental de Datos en Archivos Excel con Python

Importación de la Base de Datos Sakila en MySQL Workbench

Transformaciones de Datos ETL con Python y MySQL

Transformaciones de Datos con Python y SQL

Buenas prácticas y errores comunes en procesos ETL

Carga y Validación de Datos en Sakila ETL con Python y SQL

Fundamentos de ETL con Python: Extracción, Transformación y Carga de Datos