Análisis de regresión logística

Clase 24 de 28 • Curso de Análisis Exploratorio de Datos

Andrés Cardona

student•

Creo que debería haber una explicación más detallada y fundamentada sobre qué són los valores coef, std err, z, P>|z|, y cómo debe ser su interpretación conjunta en relación a la pruebas de hipótesis. La verdad es una explicación somera que ni si quiera toca los principios básicos de la interpretación estadística.

Quiero a Platzi y su misión, por eso hago esta crítica para el Team! Hay que empezar a hacer mayor auditoria de calidad a los cursos. El hecho que sean cursos básicos no significa que no se deban explicar los fundamentos conceptuales que llevan al estudiante a construir un conocimiento sólido.

Jeinfferson Bernal G

student•

José Polanco

student•

Esto viene de cursos anteriores. Está declarado en el inicio del curso que es un conocimiento previo necesario.

Saludos!

Jeinfferson Bernal G

student•

Modelo para definir si un pinguino es Macho o Hembra

Creamos el modelo con las variables que consideremos influyen en la eleccion de si es un macho o hembra. Nuestra variable objetivo es categorica (sexo), por tanto, debemos convertirla en numerica para poder aplicar al modelo.

#Modelo logistico de la variable sexo VS longitud de las aletas, ancho del pico, largo del pico, y la isla
smf.logit(
    formula='numeric_sex ~ flipper_length_mm + bill_length_mm + bill_depth_mm + C(island)',
    data=preprocessed_penguins_df
).fit().summary()

Dado que la variable sexo es categorica la convertimos en 0(hembras) y 1(machos), los resultados de la Regresion Logistica viene dado en funcion de los machos.

Los resultados se interpretan asi:

A mayor longitud de las aletas, mas probable que el pinguino sea macho (0.1393).
A mayor longitud de los picos, mas probable que el pinguino sea macho (0.1413).
Mientras mas ancho el pico, mas probable que sea macho (1.6401)
Es menos probable que hayan machos en la isla Dream respecto a la Biscoe (-1.55)
Es menos probable que hayan machos en la isla Torgensen respecto a la Biscoe (-1.03)

El parametro P > abs(Z) indica cuales son las variables mas significativas estadisticamente para el resultado. Mientras mas tienda al valor 0 mas significativa es.

Cuando tenemos tres variables y en los resultados de la regresion logistica solo aparecen dos, indica que los esos valores son respecto a la variable faltante

Probabilidad de que hayan mas machos en la isla Dream que en la isla Torgensen

# Restamos los valores de probabilidad de cada isla
-1.55 - (-1.03)

Respecto a la isla Dream, es mas probable encontrar macho en la isla Dream que en la Torgensen

Exploracion de las variables categoricas. Con un EDA inicial en las variables categoricas podriamos haber llegado a las misma conclusiones que el modelo logistico

#Tabla de conteo de las variables categoricas isla y sexo
(
    preprocessed_penguins_df
    .value_counts(['island', 'sex'])
    .reset_index(name='count')
)

Ruddy Ramos

student•

Gracias por el aporte.

Rafael Rivera

student•

Muy buena explicación, gracias por compartir

Jeinfferson Bernal G

student•

Modelo para identificar si un pinguino pertenece a una determinada clase

En esta caso, La variable objetivo (especie) es categorica, por tanto, la convertimos en numerica

preprocessed_penguins_df = (
    preprocessed_penguins_df
    .assign(is_adelie=lambda df: df.species.replace(['Adelie', 'Gentoo', 'Chinstrap'], [1,0,0]))
)

Creamos el modelo logistico con las variables que consideramos relevantes para determinar la especie de un pinguino.

#Modelo para determinar si un pinguino es adelie segun su sexo y el largo de las aletas
model_is_adele = smf.logit(
    formula='is_adelie ~ flipper_length_mm + C(sex)',
    data=preprocessed_penguins_df
).fit()

Obtenemos los parametros del modelo resultante

model_is_adele.params #muestra solo los parametros del modelo

Los resultados indicas que:

Es mas probable que un pinguino Adelie sea macho que hembra (1.28).
Es menos probable que un pinguino Adelie sea de alas largas (-0.21).

Creamos una tabla donde podamos comparar los valores reales con los valores predichos por el modelo

is_adelie_df_prediction = pd.DataFrame(
    dict(
        actual_adelie = preprocessed_penguins_df.is_adelie,
        predicted_values = model_is_adele.predict().round()  #round indica solo si es cero o uno
    )
)

is_adelie_df_prediction

Creamos una tabla con los resultados generales de la tabla anterior

(
    is_adelie_df_prediction
    .value_counts(['actual_adelie', 'predicted_values'])
    .reset_index(name='count')
)

Visualizacion de los resultados mediante una matriz de confusion

print(
    sklearn.metrics.confusion_matrix(
        is_adelie_df_prediction.actual_adelie,
        is_adelie_df_prediction.predicted_values
    )
)

sklearn.metrics.accuracy_score(
    is_adelie_df_prediction.actual_adelie,
    is_adelie_df_prediction.predicted_values
)

[[151  36]
 [ 17 129]]

0.8408408408408409  #Efectividad de prediccion del modelo

Daniel Julian Luengas Machado

student•

print(
    sklearn.metrics.confusion_matrix(
        is_adelie_df_predictions.actual_adelie,
        is_adelie_df_predictions.predicted_values
    )
)

sklearn.metrics.accuracy_score(
    is_adelie_df_predictions.actual_adelie,
    is_adelie_df_predictions.predicted_values
)

Jeinfferson Bernal G

student•

Gracias por el aporte!

Miguel Sánchez Guerrero

student•

Matriz de Confusión:

Se usa para evaluar la precisión de la clasificación: [[151 36] [ 17 129]]

se lee:

Verdadero Negativo (0,0): 151
Falso Positivo (0,1): 36 (Error Tipo I)
Falso Negativo (1,0): 17 (Error Tipo II)
Verdadero Positivo (1,1): 129

Daniela Mendoza Redondo

student•

No me estaba funcionado numeric_sex, dado que estaba definido como parámetro y no como variable. Así que lo generé de esta forma y funcionó. Por si alguien lo necesita:

preprocess_penguins_df['numeric_sex']=numeric_sex(preprocess_penguins_df)
preprocess_penguins_df

Diego Jurado

student•

Daniela, gracias por compartir, a mí tampcoo me funciono

Juan R. Vergara M.

student•

Gracias 😎

David Romero

student•

En esta clase aprendimos a realizar una clasificación binaria (macho o hembra, es Adelie o no es Adelie) mediante la regresión logística. Sin embargo, si lo que quieres es implementar un modelo para clasificar más de 2 categorías como conocer si un pingüino es Adelie o Gentoo o Chinstrap, este algoritmo no te servirá. En este caso, utilizando al librería Statsmodels, tendrás que utilizar la función mnlogit del módulo statsmodels.formula.api (smf), mnlogit hace referencia a un modelo de regresión logística multinomial, el cual te ayudará con esta tarea.

Brayam Esparza

student•

Al final en las conclusiones, [diganme si estoy mal], pero, no es macho y hembra, es si ¿ Adelie TRUE o False? , o sea cuentas veces acertamos que era Adelie vs cuantas no. de ahí la eficiencia del 80%

Christian Rangel

student•

Me parece que estás equivocado ya que estamos referenciando solo a la especie Adelie y de allí estamos evaluando las varibles de aleta y sexo con respecto a la especie seleccionada.

Yonatan Efraín Jara Boza

student•

Estas en lo correcto compañero. El profesor tuvo un lapsus al decir la variable categorica que estaba estudiando (debe ser la de si es adelie o no). El 0.84 justo refleja eso (151+129)/(151+129+36+17)

Sebastian Gaviria

student•

Para quienes trabajan en Visual Studio Code, debemos importar primero metrics, y accuracy_score:

import sklearn
from sklearn import metrics
from sklearn.metrics import accuracy_score

FELIX DAVID CORDOVA GARCIA

student•

Aquí se ve mas claro:

Juan R. Vergara M.

student•

🥇

Felipe Sebastián Zepeda González

student•

Opino que la idea de esta clase está bien planteada, pero lamentablemente hay puntos importantes que están pésimamente presentados. En especial me preocupa como presentan el significado estadístico de los coeficientes,P> |z|, etc.

coeffs: En los casos de regresión representan la tasa de cambio de de “log odss” respecto de alguna variable independiente en específico (bill_length_mm, island, etc.). Creo que no es responsable establecer de forma concreta si un coeficiente es “importante” si no se considera el rango numérico de la varibable independiente en cuestión, pero en general uno podría decir que mientras más lejos de cero el coeficiente, más efecto tiene una variable en específico.
P>|z| es el p-value que establece si un coeff es estadisticamente significativo en el modelo. Si p-value < alpha (0< alpha <1, elegido bajo nuestro criterio, usualmente 0.05) entonces el coeficiente tiene significancia estadística en el modelo.
LLR p-value: Es el p-value del modelo en general. Si LLR p-value < alpha, entonces nuestro modelo es útil para hacer predicciones.

José Rodrigo Arana Hi

student•

En lugar de usar replace(), otra manera para reemplazar tus datos:

df.assign(is_adelie=lambda x: np.where(x.species=='Adelie', 1, 0))

donde los valores TRUE los cambia por 1, los FALSE en 0.

Sebastián Romaldo Alcántara Luyo

student•

Esa fórmula está mucho mejor. Establece directamente a la nueva variable "is_adelie" como una numérica

jader lopez

student•

si debes volver a comoboertir las variables categoricas en variables numericas y asignarlas a una nueva columna usa esto o guiate para hacerlo

diccionario_sexo = {
    'male' : 0,
    'female' : 1,
}
binario = data['sex'].map(diccionario_sexo)
data['sex_numeric'] = binario

psss inri no copies por copiar trata de entender el porque del codigo

Luis Valle

student•

bastante pobre la interpretación de los parámetros estadísticos , deja mucho que desear

Rubén Cuello

student•

Veo que los valores que aparece en la tabla de regresión logística son bastante bajos, con excepción del intercept. Quisiera saber entre que valores pueden estar nuestras variables?

Eduard Giraldo Martínez

student•

Hola, Ruben 😄

Lo más probable es que ya hayas investigado un poco de cómo funciona la tabla. De igual manera dejo el link dónde se puede entender un poco mejor el tema para las futuras generaciones.

👾✨

Eduard Giraldo Martínez

student•

Para lar personas que quedaron un poco vagas con la explicación, les dejo este artículo dónde podrán entender mejor lo visto en clase (Sobre la tabla de regresión logística). . Por lo que pude entender, las columnas son las mismas, exceptuando por 'P>|z|' Espero que les sirva, si tienen alguna recomendación o explicación adicional, se les agradece

👾✨

Pablo Alejandro Figueroa

student•

Muuuuchas gracias...! todo más claro!

Antonio Demarco Bonino

student•

Me quede enamorado de sklearn:

Armando Montano

student•

Con scikitlearn es necesario dividir tu data set entre training set y testing set. Tenia la duda si al usar smf.logit, smg.ols, etc, este lo divide automaticamente o algo asi por el estilo? Pregunto porque esto podria traer problemas de overfitting jejej Saludos!

(Es bueno ver que si hace lo de la dummy variable automaticamente jejje)

David Romero

student•

smf no te divide los datos en conjuntos de entrenamiento y prueba automáticamente, lo recomendable siempre es realizar esta división por lo que mencionas del overfitting. Supongo que en este curso se hace así por cuestiones prácticas.

Erik Alejandro Garcia Duarte

student•

El modelo utiliza una regresión logística para estimar la probabilidad de que una ave sea macho (numeric_sex = 1) en función de la longitud de la aleta (flipper_length_mm), la longitud del pico (bill_length_mm), la profundidad del pico (bill_depth_mm) y la isla en la que se encuentra (Dream, Torgersen o Biscoe).

Los coeficientes de la regresión logística se presentan en la tabla "Coefficients". Cada coeficiente representa el cambio en la log odds de ser macho (numeric_sex = 1) por una unidad de cambio en la variable correspondiente, manteniendo las demás variables constantes.

Por ejemplo, el coeficiente para la longitud de la aleta (flipper_length_mm) es positivo y igual a 0.1393, lo que significa que por cada aumento en 1 mm de la longitud de la aleta, la log odds de ser macho aumenta en 0.1393, es decir, la probabilidad de ser macho aumenta.

Los intervalos de confianza del 95% para cada coeficiente también se proporcionan en la tabla. Los intervalos de confianza reflejan la incertidumbre en la estimación de los coeficientes y proporcionan una guía para determinar si un coeficiente es estadísticamente significativo. Si el intervalo de confianza no incluye cero, significa que el coeficiente es estadísticamente significativo al nivel de confianza del 95%.

Además, se puede ver que el modelo se ajustó con éxito, ya que se encontró una solución óptima y la log-verosimilitud es negativa, lo que indica un buen ajuste. La pseudo-R cuadrada también es positiva, lo que indica un buen ajuste y que las variables explican una parte significativa de la varianza en la variable dependiente (numeric_sex).

Juan R. Vergara M.

student•

Gran recomendación la de visualizar los datos antes de construir los modelos 👍

#Modelo logistico de la variable sexo VS longitud de las aletas, ancho del pico, largo del pico, y la isla
smf.logit(
    formula='numeric_sex ~ flipper_length_mm + bill_length_mm + bill_depth_mm + C(island)',
    data=preprocessed_penguins_df
).fit().summary()

#Modelo para determinar si un pinguino es adelie segun su sexo y el largo de las aletas
model_is_adele = smf.logit(
    formula='is_adelie ~ flipper_length_mm + C(sex)',
    data=preprocessed_penguins_df
).fit()

is_adelie_df_prediction = pd.DataFrame(
    dict(
        actual_adelie = preprocessed_penguins_df.is_adelie,
        predicted_values = model_is_adele.predict().round()  #round indica solo si es cero o uno
    )
)

is_adelie_df_prediction

print(
    sklearn.metrics.confusion_matrix(
        is_adelie_df_prediction.actual_adelie,
        is_adelie_df_prediction.predicted_values
    )
)

sklearn.metrics.accuracy_score(
    is_adelie_df_prediction.actual_adelie,
    is_adelie_df_prediction.predicted_values
)

[[151  36]
 [ 17 129]]

0.8408408408408409  #Efectividad de prediccion del modelo

print(
    sklearn.metrics.confusion_matrix(
        is_adelie_df_predictions.actual_adelie,
        is_adelie_df_predictions.predicted_values
    )
)

sklearn.metrics.accuracy_score(
    is_adelie_df_predictions.actual_adelie,
    is_adelie_df_predictions.predicted_values
)

Análisis de regresión logística

Introducción al análisis exploratorio de datos

¿Qué es y para qué sirve el análisis exploratorio de datos?

¿Cómo hacer un análisis exploratorio de datos?

Tipos de análisis de datos

Tipos de datos y análisis de variables

Herramientas de software para el análisis exploratorio de datos

Conociendo nuestros datos: palmerpenguins

Recolección de datos, limpieza y validación

Ejercicio de validación de datos

Análisis univariado

Explorando una variable categórica: conteos y proporciones

Estadística descriptiva aplicada: medidas de tendencia central

Estadística descriptiva aplicada: medidas de dispersión

Ejercicio de obtención de medidas de dispersión

Estadística descriptiva aplicada: distribuciones

Estadística descriptiva aplicada: funciones de densidad de probabilidad

Bonus: Teorema del límite central

Análisis bivariado

Estableciendo relaciones: gráficos de puntos

Estableciendo relaciones: gráficos de violín y boxplots

Estableciendo relaciones: matrices de correlación

Limitantes de los coeficientes de correlación lineal

Estableciendo relaciones: análisis de regresión simple

Limitaciones del análisis de regresión simple

Análisis multivariado

Análisis de regresión múltiple

Visualización del análisis de regresión múltiple

Análisis de regresión logística

Paradoja de Simpson

¿Qué hacer cuando tengo muchas variables?

Conclusiones

Diversidad de gráficas al explorar datos

Continúa aprendiendo sobre EDA