Limitaciones del análisis de regresión simple
Contenido del curso
El código para las graficas mostradas en clase grafica 1
sns.scatterplot( x=x, y=y )
fx_1= np.array([x.min(), x.max()]) fy_1= res_x_y.intercept + res_x_y.slope * fx_1
plt.plot(fx_1, fy_1);
grafica 2
sns.scatterplot( x=y, y=x )
fx_2= np.array([y.min(), y.max()]) fy_2= res_y_x.intercept + res_y_x.slope * fx_2
plt.plot(fx_2, fy_2);
grafica 3
sns.scatterplot( x=x, y=y ) plt.plot(fx_1, fy_1) plt.plot(fy_2, fx_2);
Muchas gracias 👍
Código de la clase:
x = processed_penguins_df.bill_depth_mm y = processed_penguins_df.bill_length_mm res_x_y = scipy.stats.linregress(x=x, y=y) res_y_x = scipy.stats.linregress(x=y, y=x) #Fig. 1 sns.scatterplot( x=x, y=y ) fx_1= np.array([x.min(), x.max()]) fy_1= res_x_y.intercept + res_x_y.slope * fx_1 plt.plot(fx_1, fy_1); #Fig. 2 sns.scatterplot( x=y, y=x ) fx_2= np.array([y.min(), y.max()]) fy_2= res_y_x.intercept + res_y_x.slope * fx_2 plt.plot(fx_2, fy_2) # Fig. 3 sns.scatterplot( x=x, y=y ) plt.plot(fx_1, fy_1) plt.plot(fy_2, fx_2)
Limitacion del Analisis de Regresion Simple
La regresion lineal simple de A - B no es lo mismo que B - A. Las regresiones pueden ser diferentes en cada caso. Debes elegir de correctamente cual sera la variable independiente y dependiente.
Si dos variables crecen o decrecen siguiendo las mismas pautas, no implica necesariamente que una cause la otra. Correlacion no implica causalidad.
Solo puede manejar relaciones lineales. Es importante visualizar los datos para poder determinar que tipo de regression utilizar.
Visualizacion de la Asimetria de la Regresion Lineal
#Regresion lineal de x en funcion de y sns.scatterplot( x=x, y=y ) f_x1 = np.array([x.min(), x.max()]) fy_1 = res_x_y.intercept + res_x_y.slope*fx_1 #Regresion lineal de y en funcion de x sns.scatterplot( x=y, y=x ) fx_2 = np.array([y.min(), y.max()]) fy_2 = res_y_x.intercept + res_y_x.slope*fx_2 plt.plot(fx_1, fy_1) plt.plot(fx_2, fy_2)
Separar las relaciones entre las variables con la libreria scipy
#bill_depth como variable x ( smf.ols( formula='bill_length_mm ~ bill_depth_mm', data= preprocessed_penguins_df ) .fit() .params ) #bill_length como variable x ( smf.ols( formula='bill_depth_mm ~ bill_length_mm', data= preprocessed_penguins_df ) .fit() .params )
Muchas gracias por el aporte.
Segunda parte de la clase, el código:
( smf.ols( formula='bill_length_mm ~ bill_depth_mm ', data=processed_penguins_df ) .fit() .params ) ( smf.ols( formula='bill_depth_mm ~ bill_length_mm', data=processed_penguins_df ) .fit() .params )
Me paso que me tenía desconfiado y que algo estaba pasando por alto cuando vimos que las rectas son distintas.
Pensaba: Son los mismos puntos, no tiene sentido que aunque gires los ejes o le hagas espejos -como los puntos siguen en las mismas posiciones relativas respecto de otro- las rectas sean distintas pues sigue siendo la recta que representa más datos. Es como observar una linea de Perú a China desde la Luna, desde España, aunque me ponga de cabeza, desde unos lentes con filtros; si los llevamos a la misma referencia de observación debería ser igual...
Lo que pasaba por alto: Recorde que la regresión lineal sigue el método de mínimos cuadrados, en el que el error se halla restando lo real y la estimación de las variables dependientes (o sea la "y", en otras palabras los errores son segmentos verticales siempre), entonces al invertir el "x" con el "y" los errores son distintos, por tanto resulta en pendientes e interceptos distintos como se observa en el código de la clase. Distinto sería si los errores se calcularán siendo segmentos perpendiculares.
Espero que a alguien le sirva esta observación, y si me equivoco en la explicación real de por qué los resultados no son simétricos por favor hacermelo saber.
Yonatan muchas gracias por la explicanción. No terminaba de comprender el tema.
Estuve investigando un poco para poder aportar algo, lamentablemente no pude encontrar nada revelante.
✨👾
Valores atípicos: Los valores extremos o atípicos pueden afectar significativamente la relación entre dos variables. Por lo tanto, es importante verificar la presencia de valores atípicos y determinar si deben ser excluidos del análisis.
Datos no lineales: El análisis de regresión simple asume una relación lineal entre las variables
Para dar ejemplos de las limitaciones del análisis de regresión simple
Correlación no implica causalidad:
Valores atípicos:
Datos no lineales:
El análisis de regresión simple asume una relación lineal entre las variables, por lo que si la relación es no lineal, los resultados pueden ser inexactos. Podríamos buscar una relación entre la longitud del pico y la profundidad del pico, pero si la relación es curvilínea, una línea recta no será una buena representación.
En este caso, parece haber una relación positiva entre la longitud y la profundidad del pico, pero no es lineal. Por lo tanto, la línea de regresión simple no es una buena representación de la relación.
Me tarde un rato, el codigo me quedo horrible, pero por lo menos logre hacer lo que quería:
Tendra algun uso en la vida profesional hacer este formato? no lo se... pero lo quería hacer y lo hice xd
Si tienes el código , compártelo por favor.
FILTROS
species = penguins_df.species.unique() adelie_df = penguins_df.query("species == 'Adelie'") gentoo_df = penguins_df.query("species == 'Gentoo'") chinstrap_df = penguins_df.query("species == 'Chinstrap'") specie = [adelie_df,gentoo_df,chinstrap_df] numeric_columns = penguins_df.select_dtypes(include=np.number).columns
GRAFICOS
# Graph linear regresion for XY and YX with intercept and slope fig,ax = plt.subplots(2,3,figsize=(20,10)) # list for intercept and slope from linear regression xy = [] yx = [] for j in range(2): for i in range(4): # Variables x='bill_length_mm' y=numeric_columns[i] if y == 'bill_length_mm':pass else: # Graphs if j == 0: sns.regplot( ax=ax[j][i] if i==0 else ax[j][i-1], data=biscoe_adelie_df, x='bill_length_mm', y=numeric_columns[i] ) ax[j][i].legend({f'x: {x}\n y: {y}'}) if i==0 else ax[j][i-1].legend({f'x: {x}\n y: {y}'}), # Calc Intercept and slope for xy xy.append(smf.ols(formula=f'bill_length_mm ~ {numeric_columns[i]}',data=biscoe_adelie_df).fit().params) else: sns.regplot( ax=ax[j][i] if i==0 else ax[j][i-1], data=biscoe_adelie_df, x=numeric_columns[i], y='bill_length_mm', ) ax[j][i].legend({f'x: {y}\n y: {x}'}) if i==0 else ax[j][i-1].legend({f'x: {y}\n y: {x}'}), # Calc Intercept and slope for yx yx.append(smf.ols(formula=f'{numeric_columns[i]} ~ bill_length_mm',data=biscoe_adelie_df).fit().params)
Tengo una duda si las variables se transponen no es mejor verlo así
## Limitaciones de la regresión lineal
Aunque es un modelo poderoso y fácil de interpretar, tiene varias limitaciones:
1️- Suposición de linealidad
Problema: La regresión lineal asume que la relación entre las variables es lineal.
Consecuencia: Si la relación es curva o no lineal, el modelo no funcionará bien.
Solución: Se pueden probar transformaciones de las variables (logaritmos, polinomios) o usar modelos más avanzados (árboles de decisión, redes neuronales).
2️- Sensible a valores atípicos
Problema: Pocos valores extremos pueden afectar la pendiente de la línea de regresión.
Consecuencia: Puede generar modelos con coeficientes erróneos.
Solución: Detectar y manejar outliers con métodos como el z-score o el IQR (rango intercuartil).
3️- Suposición de independencia de los errores
Problema: La regresión asume que los errores (ε) no están correlacionados entre sí.
Consecuencia: Si los errores presentan patrones (como en datos de series temporales), el modelo puede ser engañoso.
Solución: Usar pruebas como Durbin-Watson y modelos como ARIMA o Regresión Ridge.
4️- Homocedasticidad (varianza constante de los errores)
Problema: Se asume que los errores tienen una varianza constante.
Consecuencia: Si la dispersión de los errores aumenta con X, la regresión pierde confiabilidad.
Solución: Diagnosticarlo con un gráfico de residuos y probar transformaciones en Y.
5️- Multicolinealidad en regresión múltiple
Problema: Si las variables independientes están correlacionadas entre sí, la interpretación de los coeficientes se vuelve confusa.
Consecuencia: Puede hacer que el modelo sea inestable.
Solución: Usar métricas como el VIF (Factor de Inflación de la Varianza) y eliminar variables redundantes.
6️- No captura relaciones complejas
Problema: Modelos lineales no pueden capturar relaciones no lineales o interacciones complejas entre variables.
Solución: Usar regresiones polinómicas, árboles de decisión o modelos más avanzados.
De dónde sale la función smf.ols? El profe se salta de dónde sale y no logro correr el código en Deepnote.
Hola!
Un poco tarde, pero sale de la librería statsmodels. Para utilizarla pon el siguiente comando:
import statsmodels.formula.api as smf
Si por alguna razón te sale que statsmodels no lo tienes instalado entonces:
pip install statsmodels
Espero sea de ayuda!
Porque en el minuto 8,30 se grafican el slope con el slope transpuesto en un mismo gráfico? no entiendo bien en que sirve hacerlo
Hola compañero. El gato encerrado esta en los ejes. Ese transpuesto es de forma automática, o sea el profesor no lo solicita en código. Eso significa que la segunda línea recta para encajar en el universo de la primera línea se acopla naturalmente. Sería injusto comparar las líneas de regresión si una tiene el eje de longitudes en horizontal y la otra en vertical. Pd. Que pena que hasta ahora te respondan, la plataforma debe trabajar seriamente en la sección de preguntas.
21. Limitaciones del análisis de regresión simple
Limitaciones
Seaborn hace que la vida de todo DATA sea más cómoda. Gracias.
Explicacion del codigo de grafico de dispersion con linea de regresion
# Primero llamamos la funcion scatterplot de seaborn sns.scatterplot( # Como sabemos ingresamos los datos y de ahi ya podemos mencionar que parte de los datos vamos a analizar data=process_prenguin_df, x='bill_length_mm', y='bill_depth_mm' ) # Aqui creamos un array que indique donde inicia y termina los datos en X, en esta caso bill_length_mm fx1 = np.array([process_prenguin_df.bill_length_mm.min(), process_prenguin_df.bill_length_mm.max()]) # Aqui representamos la funcion de la linea, donde es Y0 + MX, teniendo el intercept como el valor que toma y en el primer valor de X y el slope actuadno como una pendiente. fy1 = res_x_y.intercept + res_x_y.slope * fx1 plt.plot(fx1,fy1)
x = processed_penguins_df.bill_length_mm y = processed_penguins_df.bill_depth_mm res_x_y = scipy.stats.linregress(x=x,y=y) res_y_x = scipy.stats.linregress(x=y,y=x) fx1 = np.array([processed_penguins_df.bill_length_mm.min(), processed_penguins_df.bill_length_mm.max()]) fy1 = res_x_y.intercept + res_x_y.slope * fx1 fx2 = np.array([processed_penguins_df.bill_depth_mm.min(), processed_penguins_df.bill_depth_mm.max()]) fy2 = res_y_x.intercept + res_y_x.slope * fx2 print(res_x_y, res_y_x, sep='\n') fig, ax = plt.subplots(1,2, figsize=(15,10)) sns.scatterplot(ax=ax[0],x=x,y=y) sns.scatterplot(ax=ax[1],x=y,y=x) ax[0].plot(fx1,fy1) ax[0].plot(fy2,fx2) ax[1].plot(fx2,fy2) ax[1].plot(fy1,fx1)
Crea modelo de regresion a partir de variables que le doy.
si
podrian por favor colocar el notebook solucionado es que tengo problemas con el codigo y cuando le doy al lik solo aparece el vacio
Hola, que tan efectiva es la mtriz de correlacion por el metodo de Spearman para relaciones no parametricas?
Slope es la misma pendiente?
Si. Significa, literalmente, Pendiente.
Dato importante que se saltó el profe 😅
si las variables se transponen no es mejor verlo asi
Hola, como mencione en la otra respuesta, para notar que ambas líneas de regresión son distintas tienen que jugar con las mismas reglas del campo, la visita se acopla. Redundando un poco más: Los slopes/pendientes de las regresiones del ejercicio son -0.08 y -0.63; estas pendientes aunque ambas negativas impactan muy muy distinto, eso no se refleja en el primer gráfico que compartes que tiene las pendientes casi iguales; con el segundo gráfico calzan correcto.
En realidad son las transpuestas.. es verdad
