Cursos Empresas Blog Live Conf Eventos Precios

0:0016:58

Tabulación de valores faltantes

Curso de Manejo de Datos Faltantes: Detección y Exploración

Clase 6 de 21

Clase 6 / 21

Jeinfferson Bernal G

Hace 4 años

Analisis de Valores Faltantes en el DataFrame riskfactors

Mostrar los valores faltantes en el dataframe de manera general

riskfactors_df.isna()

Fila y columnas del dataFrame

riskfactors_df.shape
--> (245, 34)  #245 registros, 34 variables

En lo que sigue, utilizamos las funciones creadas para extender la funcionalidad de pandas

Numero de valores completos en el DataFrame

riskfactors_df.missing.number_complete()
--> 7144

Numero de valores faltantes en el dataframe

riskfactors_df.missing.number_missing()
--> 1186

Resumenes Tabulares de Valores Faltantes

Resumen por variable

riskfactors_df.missing.missing_variable_summary()
# missing_variable_summary() indica un resumen en cuanto a los datos
# faltantes por variable. Muestra el N° de datos faltantes, el N° de registros 
# y el porcentaje de datos faltantes que representa en el dataframe

Tabulacion del resumen por variable

riskfactors_df.missing.missing_variable_table()
# missing_variable_table() muestra una tabla con el N° de datos faltantes, 
# el N° de variables que contienen esos datos faltantes y el % que representa
# esa cantidad de variables respecto al total

Resumen por caso

riskfactors_df.missing.missing_case_summary()
# missing_case_summary() muestra todos los registros junto al N° de variables con datos 
# faltantes y el % de esas variables que representa respecto al total

Tabulacion del resumen por caso

riskfactors_df.missing.missing_case_table()
# missing_case_table() muestra una tabla con el N° de datos faltantes, la cantidad
# de registros que contienen ese N° de datos faltantes y e % de registros que 
# representan respecto al total de registros

Intervalos de Valores Faltantes

Numero de valores faltantes por cada 50 registros para la variable ‘weight_lbs’

riskfactors_df.missing.missing_variable_span(variable='weight_lbs',span_every=50)
# missing_variable_span() muestra el resumen de datos faltantes, datos completos,
# % de datos faltantes y % de datos completos por bloques de registros

En caso de trabajar con una serie de tiempo nos interesa saber en que punto o tiempo, alguna variable en particular muestra un comportamiento atipico. La siguiente funcion muestra el N° de registros consecutivos que estan completos seguido del N° de registros consecutivos que tienen datos faltantes

riskfactors_df.missing.missing_variable_run(variable='weight_lbs')

Ruddy Ramos

Hace 4 años

Gracias por el aporte.

Comentarios (39)39 comentarios

Tomas Pucutay

Amaury Antonio Avila Martinez

Hace 3 años

Muchas gracias, de mucha ayuda tu aportación.

Santiago Espinel

duré una hora intentando resolverlo y acá estaba la solución jajajaja gracias crack

Tabulacion de Valores Faltantes

Tabular es expresar valores, magnitudes u otros datos por medio de tablas.

Siempre empieza los analisis con preguntas simples, que lleven a un numero:
- cuantos valores deberian existir en el conjunto de datos?
Construir resumenes por variables y observaciones:
- Cuantos valores faltantes existen por cada variable?
- ¿Cuantas variables tiene X numero de valores faltantes?
- ¿Cuantas observaciones tiene X numero de valores faltantes?
- Cuenta los registros con datos faltantes
Salir de la caja y hacer mas preguntas
- ¿Cuantos valores faltantes tengo en una variable cada X pasos? para el caso de trabajar con series de tiempo
- ¿Cual es la racha de valores completos y faltantes en una variable?

Jesús David Barraza Guzmán

De verdad gracias por tus aportes, siempre los tomo para mis apuntes

Lina Marcela Garzon Muñoz

Mil gracias por tu aporte. Muy necesario :D

MANUEL ALEJANDRO DE LA ROSA GOMEZ

Sebastian Serna Jimenez

Gracias por el aporte!

Andres Sanchez

Muchas gracias este aporte desatascó mi proceso

Neytan Brandon Benavides

Nicolas Cardenas Camelo

no me funciono :(

Pável Hernández Reza

Hace 2 años

Hola. Como lo escribí en la clase anterior (Y para los que no leyeron mi aporte y hasta ahora están necesitando ayuda), dejé un aporte en la primera clase donde les menciono que subí mi repositorio a GitHub para que lo puedan clonar y tomar el curso en VSCode ya con los problemas de las dependencias y errores de código de la librería MissingMethods. En el Readme podrán leer más acerca del contenido. Espero que les ayude:

Luis Cesar Guadarrama Jimenez

Hace un año

Gracias Pavel, eres un crack!!!

Alfonso Andres Zapata Guzman

missing_variable_summary() #metodo para obtener tabla con el conteo de datos faltantes en todas las columnas

missing_variable_table() #metodo para obtener tabla agrupada por el conteo de datos faltantes en todas las columnas

JUAN CAMILO AGUIRRE ROMERO

Una actualizadita a este curso valdría la pena. Usé todas las soluciones que dieron aquí, usé chat GPT y ninguna funcionó!!!

Luis Lozano

Si presente el mismo problema ya que los DataFrame no se cargan con el atributo de "missing"total_complete_values = riskfactors_df.count().sum() print(f"\nNúmero total de valores completos en el DataFrame: {total_complete_values}")

Esta funcion te podria servir

total_complete_values = riskfactors_df.count().sum()
print(f"\nNúmero total de valores completos en el DataFrame: {total_complete_values}")

Yo lo puede resolver

Andres Felipe Vargas

El profesor es un crack y sabe mucho, pero que frustrante es que pase cosas sin actualizar y con fallas. Eso no debería pasar. @PlatziTeam, actualicen los CURSOSS!

Cristhian Nieto

Aparentemente, existe un error en el cálculo durante la verificación de valores faltantes por registro. Se estipula que cada registro consta de un total de 34 campos posibles, y nuestra tarea es determinar cuántos de estos campos se encuentran incompletos. Es decir, el porcentaje de valores faltantes por registro se calcula como la relación entre la cantidad de campos faltantes (n_faltantes) y el número total de campos (n_totales), que en este caso es 34. En el ejemplo de clase, se observa que uno de los registros presenta 6 campos incompletos. Esto representaría aproximadamente el 17.64% del total de campos disponibles (34 campos). Sin embargo, el ejercicio obtiene un valor del 16.66%, que no concuerda con el cálculo anterior. Es importante señalar que me podría encontrar en un error, agradecería que proporcionaran una explicación para entender la razón detrás del resultado observado en la clase. Propongo la siguiente corrección para calcular correctamente la relación entre la cantidad de campos faltantes (n_faltantes) y el número total de campos (n_totales):

david jurado

Me costó entender el funcionamiento de itertools.groupby, deberían explicar el funcionamiento detrás de esas funciones de la clase para entenderlo mejor...

Jefferson Berrones

y pensar que para ver los valores faltantes sólo hacía

 base.info()

y ya me mostraba

Francisco Cisneros

Todo muy bien con el curso, realmente me gusta como va y como lo lleva el profesor pero ojalá la siguiente vez pueda usar un fondo oscuro en su deepnote. En lo personal sí me cuesta trabajar con fondo claro, me lastima un poco a la vista. Fuera de ello, por ahora, gran curso. Felicidades

Johnny Campiño

No he podido hacer el curso porque las extensiones a Pandas no me funcionan.

AttributeError: 'DataFrame' object has no attribute 'missing'

Dante Mazzini

Hola Johnny! eso es porque un notebook no soporta al otro en la definición de la clase missing. Lo que podes hacer, es traerte todo el código de los otros dos notebooks y meterlos en el principal y ejecutarlos, de esa manera no deberías de tener problema.

Oscar Piedrahita

Alguien sabe como arreglar este error ?

AttributeError: 'DataFrame' object has no attribute 'n_variables'

Me sale cuando ejecuto este código

riskfactors_df.missing.missing_variable_table()

José Rodrigo Arana Hi

Daniela Betancur

al correr riskfactors_df.missing.missing_variable_table() tenia el error:

seguí las sugerencias de comentarios, pero no solucionaba nada.

lo logré con

def missing_variable_table(self) -> pd.DataFrame: n_rows = len(self._obj) missing_data = self._obj.isnull().sum() missing_percentage = (missing_data / n_rows) * 100 variable_summary = pd.DataFrame({ 'n_missing_in_variable': missing_data, 'pct_missing_in_variable': missing_percentage }) return variable_summary

Renato Sebastián Ramos Soto

me salvaste, muchas gracias.m Llevaba dos dias intentando arreglarlo!!

Roger Christian Cansaya Olazabal

conteo de variables faltantes en todas las columnas

riskfactors_df.missing.missing_variable_summary()

conteo de variables faltantes en las columnas que tienen valores faltantes

6. Tabulación de valores faltantes

Tabular es expresar valores, magnitudes u otros datos por medio de tablas

Empezar con resúmenes simples, como números.

¿Cuántos valores deberían existir en el conjunto de datos?
¿Cuántos valores faltantes existen en el conjunto de datos?
¿Cuántos valores completos existen en el conjunto de datos?

Construir resúmenes por variables y observaciones

¿Cuántos valores faltantes existen por cada variable?
¿Cuántos valores faltantes existen por cada observación?
¿Cuántas variables tiene X número de valores faltantes?
¿Cuántas observaciones tiene X número de valores faltantes?

Salir de la caja y hacer más preguntas

Preguntas relacionadas al negocio
¿Cuántos valores faltantes tengo en una variable cada X pasos?
¿Cuál es mi racha de valores completos y faltantes en una variable?

Pablo Alejandro Figueroa

Tabulación de valores faltantes

Progreso del curso

Introducción a los valores faltantes

Manipulación inicial de valores faltantes

Búsqueda de relaciones de valores faltantes

Tratamiento de valores faltantes

Cierre de curso