Operaciones con valores faltantes

Operaciones con valores faltantes

Aprender otro idioma no es solo aprender diferentes palabras para las mismas cosas, sino aprender otra forma de pensar sobre las cosas

• En Python, None no tiene definido operaciones con valores numericos, booleanos… Ademas al comparar los None (==) ó utilizar la funcion is, arroja True
• En Numpy, los valores faltantes se representan con nan y tienen definido operaciones con valores numericos ya que es de tipo float. Por otro lado, al comparar los None arroja False es decir, que no son el mismo objeto y al compararlos mediante la funcion is arroja True es decir que un nan esta contenido en otro nana. Tener cuidado
• En Pandas, existen varias maneras de representar los valores faltantes (nan, <NA>, None)

Funciones para buscar valores nulos en Pandas

nombre_df.isna()
nombre_df.isnull()

Buscar valores faltantes en una columna del DataFrame

nombre_df.nombre_columna.isnull()

si al importar janitor les devuelve un error ‘type’

!pip uninstall pyjanitor --yes

y vuelvan a instalarlo pero agreguenle la versión

!pip install pyjanitor==0.23.1

–

ahi vulven a importar y ya en teoría les tendría que funcionar ❤️

== >>True cuando son iguales.
IS >>True cuando ambos apuntan al mismo objeto.

np.nan == np.nan # is always False! Use special numpy functions instead.

Aproveche para poner en practica lo aprendido en el curso de entornos de trabajos (cookiecutter) para crear la estructura de carpetas y trabajar mis notebooks desde VSC, no tuve problemas como en deepnote

Las operaciones con valores faltantes se refieren a las que debes tomar al trabajar con datos que contienen valores ausentes o datos acciones faltantes. Es fundamental abordar estos valores de manera adecuada para garantizar la precisión y la integridad de tus análisis y modelos estadísticos. Aquí, explicaré en detalle algunos conceptos claves relacionados con las operaciones de datos faltantes:

1. Valores faltantes (Missing Values):

• Son valores que faltan o no están disponibles en un conjunto de datos en una o más ubicaciones. Pueden ser denotados por diferentes convenciones, como “NaN” (Not a Number) en Python o “NULL” en SQL.

2. Tipos de valores faltantes:

Valores faltantes completamente al azar (MCAR):

• Ocurren de manera completamente aleatoria y no hay relación entre la falta de datos y ninguna otra variable o razón.

Valores faltantes aleatorios (MAR):

• La falta de datos está relacionada con otras variables observadas en el conjunto de datos, pero no con los valores faltantes en sí.

Valores faltantes no aleatorios (MNAR):

• La falta de datos está relacionada con los valores faltantes en sí. Esto puede deberse a factores que no están registrados en el conjunto de datos.

3. Exploración de datos faltantes:

• Antes de abordar los valores faltantes, es importante realizar un análisis exploratorio para identificar la cantidad y la ubicación de los datos faltantes en tus datos.

4. Tratamiento de valores faltantes:

• Hay varias estrategias para tratar los valores faltantes:

Eliminación de filas o columnas:

• Puedes eliminar filas o columnas que contengan valores faltantes si la cantidad de datos faltantes es pequeña o si no son críticos para tu análisis.

Imputación:

• Implica reemplazar los valores faltantes por estimaciones basadas en otros datos. Puedes utilizar estadísticas como la media, la mediana o la moda para imputar valores faltantes, o incluso modelos de regresión para predecir valores faltantes a partir de datos existentes.

Técnicas avanzadas:

• También puedes utilizar técnicas más avanzadas, como la imputación múltiple, para manejar datos faltantes de manera más sofisticada.

5. Impacto en análisis y modelos:

• Es importante comprender cómo los valores faltantes pueden afectar tus análisis y modelos. Pueden introducir segundos, disminuir la precisión y afectar la interpretación de los resultados.

6. Imputación de valores faltante

La imputación es el proceso de estimar o reemplazar los valores faltantes con valores calculados.

7. Evaluación del tratamiento de datos faltantes:

• Después de tratar los datos faltantes, debes evaluar cómo afecta esto a tu análisis. Esto puede incluir la comparación de resultados antes y después del tratamiento y la consideración de la solidez de tus conclusiones.

8. Documentación y transparencia:

• Es fundamental documentar y comunicar claramente cómo has manejado los valores faltantes en tus análisis. Esto asegura la reproducibilidad y la comprensión de tu trabajo por parte de otros.

operaciones con valores faltantes son esenciales en el análisis de datos. Debes identificar, comprender y tratar adecuadamente los valores faltantes para garantizar la calidad y la precisión de tus análisis y modelos. La elección de la estrategia de manejo de datos faltantes dependerá del contexto específico de tus datos y del objetivo de tu análisis.

CODIGO DE PANDAS

test_missing_df = pd.DataFrame.from_dict(
    data=dict(
        x=[0, 1, np.nan, np.nan, None],
        y=[0, 1, pd.NA, np.nan, None]
    )
)

El curso que faltaba

Por si alguien no entiende mucho de los presets que coloca para los gráficos:

%matplotlib inline

No es necesario colocarlo ni en Google Colab, ni en Deepnote, ni incluso Visual Studio Code, ya que estos entornos lo tienen por defecto incluido, incluso así es una buena práctica colocarlo. En Jupyter Notebooks los gráficos salen como una ventana emergente, cuando colocas este código aparecen debajo de la celda que lo ejecuta (es decir como siempre lo vemos en Colab o Deepnote)

sns.set(rc = {"figure.figsize": (10, 10)})
sns.set_style("whitegrid")

La documentación de Seaborn indica que seaborn.set podría desaparecer en el futuro y que es un alias para seaborn.set_theme. Por lo que sería más conveniente usar set_theme. Además set_theme es un método general que acepta todo (style, font, context, etc). Dicho esto, las 2 líneas de código se pueden resumir a:

sns.set_theme(style="whitegrid", rc = {"figure.figsize": (10, 10)})

Estas son las librerías que se utilizan en el curso.

Janitor. Lo utilizamos para limpieza de datos.
Matplotlib. Para la visualización.
Missingno. Para visualizar valores faltantes.
Numpy y pandas. Para realizar computo científico en Python.
Pyreadr. Para leer archivos.
Seaborn. Para visualización estadística.
Session_info. Para tener un registro de las librerías usadas.
Upsetplot. Para realizar gráfico.

En resumen, las operaciones con valores faltantes son esenciales en el análisis de datos. Debes identificar, comprender y tratar adecuadamente los valores faltantes para garantizar la calidad y la precisión de tus análisis y modelos. La elección de la estrategia de manejo de datos faltantes dependerá del contexto específico de tus datos y del objetivo de tu análisis.

detesto deepnote, me quedo mil veces con jupyter.

Es curso mas nuevo en mis dos años en platzi

print(
    True  or None,  # True
    False or None,  # None
    sep="\n"
)

print(
    True or np.nan,     # True
    False or np.nan,    # nan
    sep="\n"
)

🚀Te enseño como corregir un error de importacion

👉Ya que estamos comenzando es fundamental que las librerias se carguen de manera correcta. Este es un error que me sucedio a mi con la libreria janitor.

Cuando corres el codigo en ocasiones tu puede saltar una anuncio que indica que a tu entorno virtual le puede estar faltanta un modulo para correr una libreria

✅La solucion la encontre gracias a @jvelezmagic y es muy sencilla. Simplemente vas a la carpeta Files, buscas el archivo requirements.txt. Alli posiblemente esté el fallo, debido a que en el proceso pudiste haber descargado modulos que son incompatibles entre si.

La leccion es que debes estar atento de que los modulos y las librerias correspondan entre si tomando en cuenta las versiones que estas utilizando.

Para simplificar el aprendizaje, aqui te dejo la estructura correcta del archivo requirements.txt:

pyjanitor
missingno
numpy
matplotlib==3.5.1
pandas
pyreadr
seaborn
session-info
upsetplot==0.6.1

Respecto a la herramienta es lo mismo si se usa Jupyter’lab?

En Python, la diferencia entre hacer una comparación con == e is radica en lo siguiente:

==: compara dos objetos, el caso más típico donde usamos una condicional.
is: compara si ambos objetos apuntan a la misma dirección en memoria.

Que genio el profe, claramente un tipo con un IQ muyy alto!, hermosos los astronautas

2. Operaciones con valores faltantes

• Diferentes herramientas, diferentes resultados por defecto.
• Aprender otro idioma no es solo aprender diferentes palabras para las mismas cosas, sino aprender otra forma de pensar sobre las cosas.

Aquí la página en github de los notebooks:

link

Estoy usando jupyter y estaba teniendo problemas para la instalación. Pero ChatGPT es de gran ayuda. Si estan en mi misma situación, consulten sus problemas con ChatGPT.

Lo mejor de los cursos de Jesús es que va a lo que es, teoría con aplicación, Learning by Doing.

(10:15) El que ‘None’ en la columna ‘x’ cambio a ‘nan’ mientras que en la columna ‘y’ se mantiene como ‘None’… esta conectado en cómo pandas interpreta la columna (en este caso ‘float64’ y ‘object’).

E interpretará como ‘object’ mientras que uno de sus elementos sea un objeto de pandas como pd. NA o pd.NaT.

Sin embargo todos son interpretados por pandas como ‘missing values’ o ‘valores faltantes’ (a pesar que ‘none’ significa ‘ninguno’, ‘nan’ significa ‘not an number’). PD: ‘NA’ significa ‘not available’ o ‘no disponible’.