Ejercicio de validación de datos

Contenido del curso

Introducción al análisis exploratorio de datos

Análisis univariado

Análisis bivariado

Análisis multivariado

Conclusiones

Tomar examen

Cursos Empresas Blog Live Conf Eventos Precios

0:0011:34

Ejercicio de validación de datos

Curso de Análisis Exploratorio de Datos

Clase 8 de 28

Clase 8 / 28

Jeinfferson Bernal G

Hace 4 años

Validacion de Datos

dtypes muestra el tipo de dato de cada variable

preprocess_penguins_df.dtypes

Forma alternativa de presentar el codigo de manera lineal

(
    preprocess_penguins_df
    .dtypes
    .value_counts()
)

shape muestra el tamaño del dataset

preprocess_penguins_df.shape

isnull() asigna True para celdas donde hay valores nulos y False donde no los hay. any() permite resumir toda la informacion en una tabla

(
    preprocess_penguins_df
    .isnull()
    .any()
)

sum() suma todos los valores de una variable dada. En este caso permite mostrar la cantidad de valores nulos por cada variable

(
    preprocess_penguins_df
    .isnull()
    .sum()
)

Para contar todos los valores nulos que existen en la tabla se agrega la funcion sum nuevamente.

(
    preprocess_penguins_df
    .isnull()
    .sum()
    .sum()
)

Para mostrar la proporcion de valores nulos que existen en una tabla, utilizamos la libreria seaborn para verlo de manera grafica

(
    preprocess_penguins_df
    .isnull()
    .melt() #convierte el dataframe en un formato de solo dos identificadores columna 'variable', 'valor'
    .pipe( # encadena funciones que esperan objetos de tipo Series, DataFrame o GroupBy
        lambda df:(
            sns.displot(
                data=df,
                y='variable',
                hue='value',
                multiple='fill',
                aspect=2
            )
        )
    )
)

Para los valores nulos en todo el conjunto de datos utilizamos un mapa de calor de la libreria seaborn

(
    preprocess_penguins_df
    .isnull()
    .transpose()
    .pipe(
        lambda df:(
            sns.heatmap(
                data=df
            )
        )
    )
)

Ruddy Ramos

Hace 4 años

Muchas gracias por el aporte.

Juan José Mamani Tarqui

Hace 3 años

Excelente tus apuntes pero ubiera quedada mas si lo hubieras compleya con comentarios lo demas para tenerlo en cuentas

Comentarios (60)60 comentarios

FELIX DAVID CORDOVA GARCIA

Jesús Junior Alvarado Peña

Mauricio Escobar

Daniel de Jesús Martínez Vega

Angelica Borda

Santiago Garzón

Robert Junior Buleje del Carpio

Luis Aviles

Andrés Cardona

Juan R. Vergara M.

María José Medina

Javier Madriz

David Romero

Roger Christian Cansaya Olazabal

Luis Alejandro Nieto Ruth

José Rodrigo Arana Hi

Mauro Benito Montoya Arenas

Gabriel Obregón

Hace 2 años

Dickinson Alexander Duran Ravelo

Pablo .

Nelson Deiwer Baza Solares

Eduard Giraldo Martínez

Edwin Daniel Méndez Amaya

Dennis Ricardo López Morell

Jose Potes

Introducción al análisis exploratorio de datos

¿Qué es y para qué sirve el análisis exploratorio de datos?

¿Cómo hacer un análisis exploratorio de datos?

Tipos de análisis de datos

Tipos de datos y análisis de variables

Herramientas de software para el análisis exploratorio de datos

Conociendo nuestros datos: palmerpenguins

Recolección de datos, limpieza y validación

Ejercicio de validación de datos

Análisis univariado

Explorando una variable categórica: conteos y proporciones

Estadística descriptiva aplicada: medidas de tendencia central

Estadística descriptiva aplicada: medidas de dispersión

Ejercicio de obtención de medidas de dispersión

Estadística descriptiva aplicada: distribuciones

Estadística descriptiva aplicada: funciones de densidad de probabilidad

Bonus: Teorema del límite central

Análisis bivariado

Estableciendo relaciones: gráficos de puntos

Estableciendo relaciones: gráficos de violín y boxplots

Estableciendo relaciones: matrices de correlación

Limitantes de los coeficientes de correlación lineal

Estableciendo relaciones: análisis de regresión simple

Limitaciones del análisis de regresión simple

Análisis multivariado

Análisis de regresión múltiple

Visualización del análisis de regresión múltiple

Análisis de regresión logística

Paradoja de Simpson

¿Qué hacer cuando tengo muchas variables?

Conclusiones

Diversidad de gráficas al explorar datos

Continúa aprendiendo sobre EDA

Ejercicio de validación de datos

Progreso del curso

Introducción al análisis exploratorio de datos

Análisis univariado

Análisis bivariado

Análisis multivariado

Conclusiones