Análisis de datos para tu primera regresión lineal

Clase 2 de 18 • Curso de Regresión Lineal con Python y scikit-learn

FELIX DAVID CORDOVA GARCIA

student•

También se puede crear la matriz de correlación usando solo pandas, y para que no aparezcan esas letras raras al final ( sobre mi grafico) siempre pongo punto y coma como ven en mi grafico

Tomas Dale

student•

BUENISIMO APORTE, MIL MIL GRACIAS

Abisai Antonio Madera

student•

Excelente aporte; aquí les dejo las líneas de código:

sns.set(font_scale = 1.5)
sns.heatmap(df[cols].corr(), cbar = True, annot=True, yticklabels=cols, xticklabels=cols);

Agustin Blandin

student•

Veo que es demasiado codigo para hacer el mapa de calor yo lo hice asi y me lo mismo

sns.heatmap(df[cols].corr(), cbar= True, annot= True)
plt.show()

Oswaldo Jair García Franco

student•

Excelente!

Julián Cárdenas

student•

Al hacerlo así me sale desconfigurado, los elementos de más que pone sí cumplen su función!

Hugo Montoya Diaz

student•

Juan Nuñez

student•

se puede hacer PCA como en la clase de estadística explotaría para sacar los datos con más varianza y así ver cuáles contienen más información

Alfonso Andres Zapata Guzman

student•

import plotly.graph_objects as go
import plotly.io as pio

pio.templates['new_template'] = go.layout.Template()
pio.templates['new_template']['layout']['font'] = {'family': 'verdana', 'size': 16, 'color': 'white'}
pio.templates['new_template']['layout']['paper_bgcolor'] = 'black'
pio.templates['new_template']['layout']['plot_bgcolor'] = 'black'
pio.templates['new_template']['layout']['xaxis'] = {'title_standoff': 10, 'linecolor': 'black', 'mirror': True, 'gridcolor': '#EEEEEE'}
pio.templates['new_template']['layout']['yaxis'] = {'title_standoff': 10, 'linecolor': 'black', 'mirror': True, 'gridcolor': '#EEEEEE'}
pio.templates['new_template']['layout']['legend_bgcolor'] = 'rgb(117, 112, 179)'
pio.templates['new_template']['layout']['height'] = 700
pio.templates['new_template']['layout']['width'] = 1000
pio.templates['new_template']['layout']['autosize'] = False

pio.templates.default = 'new_template'

import plotly.express as px

fig = px.scatter_matrix(
    df,
    dimensions=['DIS','INDUS','CRIM', 'RM', 'MEDV'],
    title="Scatter matrix of data set",
    labels={col: col.replace("_", " ") for col in df.columns},
    opacity=0.7,
)

fig.update_traces(diagonal_visible=False)

fig.show()

fig = px.imshow(
    df[cols].corr(),
    color_continuous_scale=px.colors.diverging.RdBu[::-1],
    text_auto='.2f',
    zmin=-1,
    zmax=1,
)

fig.show()

Joaquín Ugarte

student•

Banco mucho a la gente que usa plotly. ¡Gracias por el aporte!

Alfonso Andres Zapata Guzman

student•

5Por cierto, ya conectamos en LinkedIn?4

Conectemos en LinkedIn 👈 o tambien en GitHub 👈

Ampliemos juntos nuestra red de contactos, sigueme y te sigo!

Nicolas Cordoba

student•

La librería de pandas también permite realizar correlaciones y no solo usando el método de pearson sino también usando kendall y spearman

Maximiliano Cuesta

student•

Aca dejo imagen con la informacion del Dataset

Ian Cristian Ariel Yané

student•

tanks bro! 👍

Mauro Benito Montoya Arenas

student•

CRIM - tasa de criminalidad per cápita por ciudad
ZN: proporción de suelo residencial zonificado para lotes de más de 25.000 pies cuadrados.
INDUS: proporción de acres de negocios no minoristas por ciudad.
CHAS - Variable ficticia de Charles River (1 si el tramo limita con el río; 0 en caso contrario)
NOX - concentración de óxidos nítricos (partes por 10 millones)
RM - número medio de habitaciones por vivienda
EDAD: proporción de unidades ocupadas por sus propietarios construidas antes de 1940
DIS: distancias ponderadas a cinco centros de empleo de Boston
RAD - índice de accesibilidad a carreteras radiales
IMPUESTO: tasa de impuesto a la propiedad de valor total por $10,000
PTRATIO - ratio alumnos-maestro por ciudad
B - 1000(Bk - 0,63)^2 donde Bk es la proporción de negros por ciudad
LSTAT - % de estatus inferior de la población
MEDV - Valor medio de viviendas ocupadas por sus propietarios en miles de dólares

Bryan Castano

student•

Genial, Muchas Gracias pro compatri esto . companero Platzi, Yo realmente l oaprecio, me hace mas facil entender todo desde ahora.

Marcos Ireneo Barbas

student•

Le dejo el codigo para hacer una matriz de correlacion donde pueden ver las correlacion de todas las features y tambien filtrar a partir a partir de que indice quieren en el heatmap:

fig = plt.subplots(figsize=(10,10))
sns.set(style='whitegrid', context='notebook', )
correlation = data.corr()
#Establecer el indice abajo
acceptable_corr = 0.5
filtered_correlations = correlation[correlation > acceptable_corr]
sns.heatmap(filtered_correlations, annot=True)
plt.show()

Dick Saide Suárez Blanco

student•

------------->Seaborn<-------- 1er Parte (minutos 0:16 a 5:15 ) Ahora analizaremos los datos obtenidos de la clase anterior, para ello utilizaremos " seaborn ". 1. NOTA: Notese que, en codigo, seaborn se sigue viendo escribiendo como "import seaborn as sns ". 2. Ahora le explicamos a Colab que importe la informacion vista anteriormente, para ello usamos "import matplotlib.pylot as plt" 3. Con estas dos librerias importadas, utilizaremos seaborn para darle estilo a los graficos. Para ello se escribe " sns.set (style='whitegrid', context = 'notebook') " --------> En otras palabras: + "sns" significa seaborn. (por ende "sns.set (continua) ", significa que estas especificando la configuracion de seaborn) +(continua)..." style = 'whitegrid', siguiente formato ", que significa el diseno y color qu va a tener la grafica. +(siguiente formato) " ,context = 'notebook' ) ", que significa que la grafica estara en un formato de "notebook" (o libreta en espanol), y con eso - Segun el profe Luis- se ve mejor. -----------> Hasta este punto, debido al hecho de que son 13 varibles, no resulta facil para que las leamos, por eso seleccionaremos solo las 5 variables mas importantes, y asi hacerlas mas faciles de leer. 4. Es por eso que se usa la variable " cols = [ 'DIS', 'INDUS', 'CRIM', 'RM', 'MEDV' ] " + "DIS" fue dado en el documento de los encabezados, este significa "Distancia desde el punto analizado a los 5 distritos mas importantes de Boston" + "INDUS" (encabezado del mismo documento), significa "Indice de Industrias que hay dentro de " + "CRIM", es "Indice de Criminalidad" + "RM", es el "Promedio de las Casas" (Mas notese que es la abreviacion de "Room") +'MEDV', es la "Mediana de los Precios", esta sera la variable mas importante porque es la que se predicira. 5. Ahora, podemos hacer nuestro primer grafico (asta' aora' facil no? 🙃xd). El cual se invoca con lo siguiente " sns.pairplot ( df [cols] ), height = 2.5) enter " ---------->ok, paso a paso: + " sns.pairplot (continua) ", sabemos ya " sns " significa seaborn, mas este caso ahora usamos " .pairplot ", que segun Google, es una matriz de "scatterplots" que nos permite entender la relation entre diferentes variables en Data Science. Se abre pararentesis para desarrollarlo / especificarlo mas, + (continua) " ( df [ *siguente *], ". Entonces, "df" es la otra manera de decir " def " (recuerdas que eso nos ayudaba a "definir una funcion "?, bueno, al final es lo mismo ). + [siguiente] " [cols] " esto es para referenciarle a la computadora (o decirle de donde sacar los datos), en este caso sera de "cols", el cual es el nombre de la variable que contiene todos los encabezados. Lo cual se vio en la clase pasada. + Por ultimo "height = 2.5", uff... este es solo para aclarar la altura a la que estara parte de la grafica (pienso es la ditancia entre renglon y renglon🤷‍♂️ lol )

6. Terminados con un "plt.show( )", para mostrar el grafico.
      +Segun Google, es la funcion que nos ayuda a mostrar todas las graficas que han sido (o no) correctamente programadas.

Daniel de Jesús Martínez Vega

student•

RM es el promedio de cuartos por casa de cada suburbio, por si a alguno se llega a confundir

Juan R Rossano

student•

Las columns INDUS y DIS tienen mayor correlacion que MEDV y RM ya que es .71 y .70 respectivamente, solo que es correlacion negativa y no positiva. Supongo que ademas tienen mayor importancia para nuestro analisis RM y MEDV por lo que ademas de la correlacion ¿habria una ponderacion de en las columnas que afecten la correlacion a la hora de escoger la mayor?

Luis Fernando Laris Pardo

student•

Respondiendo a la pregunta. Podría haber, siempre es importante recordar que las correlaciones no son causaciones, por tanto una alta correlación no es indicador necesariamente que la variable nos va a ayudar a predecir a futuro un resultado. Por tanto el conocimiento experto es muy importante al momento de hacer análisis y alguien que pueda decir que una variable es mejor a otra por una razón lógica se podría tomar en cuenta para tomar un resultado sobre otro

Luis Fernando Laris Pardo

student•

Ahora respondiendo al comentario, es cierto que la correlación de Indus y DIS es mayor, pero el ejercicio acá es intentar usar regresión lineal para predecir la medianas de los precios (MEDV) por tanto se escogió la variable que más correlacionada a MEDV, en este caso fue RM. Sí hubiéramos, por ejemplo, querido predecir la cantidad de industrias que hay en una zona (INDUS), entonces la variable DIS hubiera sí hubiera sido la variable que se hubiera escogido para realizar dicha predicción. Buena observación! Muchas gracias por ponerla por acá!

Daniel de Jesús Martínez Vega

student•

Esta es la configuración que hice para graficar la correlación lineal de las variables:

sns.heatmap(df[cols].corr(), annot= True, cmap='coolwarm');

el método .corr() de pandas nos ayuda a hacer de manera más concisa nuestra matriz de correlación
cmap='coolwarm' le da una paleta de colores a nuestro heatmap más intuitivo

Con esto seaborn entrega esto:

Ana María Tamayo Ocampo

student•

Tambien puedes utilizar estas gamas y mirar cual es la mejor para la interpretación: 'crest', 'Accent', 'Accent_r', 'Blues', 'Blues_r', 'BrBG', 'BrBG_r', 'BuGn', 'BuGn_r', 'BuPu', 'BuPu_r', 'CMRmap', 'CMRmap_r', 'Dark2', 'Dark2_r', 'GnBu', 'GnBu_r', 'Greens', 'Greens_r', 'Greys', 'Greys_r', 'OrRd', 'OrRd_r', 'Oranges', 'Oranges_r', 'PRGn', 'PRGn_r', 'Paired', 'Paired_r', 'Pastel1', 'Pastel1_r', 'Pastel2', 'Pastel2_r', 'PiYG', 'PiYG_r', 'PuBu', 'PuBuGn', 'PuBuGn_r', 'PuBu_r', 'PuOr', 'PuOr_r', 'PuRd', 'PuRd_r', 'Purples', 'Purples_r', 'RdBu', 'RdBu_r', 'RdGy', 'RdGy_r', 'RdPu', 'RdPu_r', 'RdYlBu', 'RdYlBu_r', 'RdYlGn', 'RdYlGn_r', 'Reds', 'Reds_r', 'Set1', 'Set1_r', 'Set2', 'Set2_r', 'Set3', 'Set3_r', 'Spectral', 'Spectral_r', 'Wistia', 'Wistia_r', 'YlGn', 'YlGnBu', 'YlGnBu_r', 'YlGn_r', 'YlOrBr', 'YlOrBr_r', 'YlOrRd', 'YlOrRd_r', 'afmhot', 'afmhot_r', 'autumn', 'autumn_r', 'binary', 'binary_r', 'bone', 'bone_r', 'brg', 'brg_r', 'bwr', 'bwr_r', 'cividis', 'cividis_r', 'cool', 'cool_r', 'coolwarm', 'coolwarm_r', 'copper', 'copper_r', 'crest', 'crest_r', 'cubehelix', 'cubehelix_r', 'flag', 'flag_r', 'flare', 'flare_r', 'gist_earth', 'gist_earth_r', 'gist_gray', 'gist_gray_r', 'gist_heat', 'gist_heat_r', 'gist_ncar', 'gist_ncar_r', 'gist_rainbow', 'gist_rainbow_r', 'gist_stern', 'gist_stern_r', 'gist_yarg', 'gist_yarg_r', 'gnuplot', 'gnuplot2', 'gnuplot2_r', 'gnuplot_r', 'gray', 'gray_r', 'hot', 'hot_r', 'hsv', 'hsv_r', 'icefire', 'icefire_r', 'inferno', 'inferno_r', 'jet', 'jet_r', entre otros.

Julián Cárdenas

student•

Código de la clase Entendiendo los datos

import seaborn as sns
import matplotlib.pyplot as plt
sns.set (style = 'darkgrid', context = 'notebook')
cols = ['DIS', 'INDUS','CRIM', 'RM', 'MEDV' ]
sns.pairplot (df[cols], height = 3.0)
plt.show ()

** **Mapa de Calor con las variables y sus relaciones **

import numpy as np
cm = np.corrcoef(df[cols].values.T)
sns.set(font_scale=1.5)
sns.heatmap(cm, cbar=True, annot=True,yticklabels=cols,xticklabels=cols)

Mario Alexander Vargas Celis

student•

vamos a realizar un análisis de datos para nuestra primera regresión lineal utilizando el famoso dataset de Housing de Boston (aunque oficialmente retirado de sklearn por temas éticos, aún puede usarse con cuidado desde UCI).

Este dataset contiene 506 filas y 14 columnas. La variable objetivo (target) es el precio medio de las viviendas en miles de dólares.

🔹 Paso 1: Cargar los datos

import pandas as pd

# Cargar el dataset desde UCI url = 'https://archive.ics.uci.edu/ml/machine-learning-databases/housing/housing.data' columnas = [ 'CRIM', 'ZN', 'INDUS', 'CHAS', 'NOX', 'RM', 'AGE', 'DIS', 'RAD', 'TAX', 'PTRATIO', 'B', 'LSTAT', 'MEDV' ] data = pd.read_csv(url, header=None, sep=r'\s+', names=columnas)

🔹 Paso 2: Inspeccionar el dataset

# Ver primeras filas print(data.head())

# Resumen estadístico print(data.describe())

# Ver si hay valores nulos print(data.isnull().sum())

🔹 Paso 3: Visualización de correlaciones

Podemos usar seaborn para ver cómo se relacionan las variables con la variable objetivo MEDV.

import seaborn as sns import matplotlib.pyplot as plt

# Mapa de calor de correlaciones plt.figure(figsize=(12, 10)) sns.heatmap(data.corr(), annot=True, fmt=".2f", cmap="coolwarm") plt.title("Matriz de Correlación") plt.show()

🔹 Paso 4: Selección de una variable para regresión simple

Vamos a elegir la variable más correlacionada con MEDV. Por lo general, LSTAT (porcentaje de población con bajos ingresos) tiene una fuerte correlación negativa con el precio.

sns.scatterplot(x='LSTAT', y='MEDV', data=data) plt.title("Relación entre LSTAT y MEDV") plt.xlabel("LSTAT (% población de bajos ingresos)") plt.ylabel("Precio medio (MEDV)") plt.show()

¿Qué sigue?

Con esta base ya podemos:

Dividir el dataset en entrenamiento y prueba.
Crear un modelo de regresión lineal con scikit-learn.
Entrenar el modelo.
Hacer predicciones y evaluar el desempeño.

Rodmy Suarez

student•

Es interesante que existe una relación entre las variables INDUS y DIS, esta relación es negativa, pero entiendo que puede ser utilizada también para los ejemplos que estamos viendo.

Mauro Benito Montoya Arenas

student•

Aca esta el link donde pueden encontrar la información de las variables:

https://www.cs.toronto.edu/~delve/data/boston/bostonDetail.html

Johan Sebastian Muñoz Ossa

student•

Para el análisis exploratorio les recomiendo aprender a usar la librería ydata_profiling, por ejemplo:

from ydata_profiling import ProfileReport

ProfileReport(df)

Carlos Mazzaroli

student•

from sklearn.decomposition import PCA

df_norm = (df - df.mean()) / df.std()
pca = PCA(n_components=5)
pca.fit(df_norm)

loadings = pd.DataFrame(pca.components_.T,
index=df.columns)

plt.plot(pca.explained_variance_ratio_)
plt.ylabel('Explained Variance')
plt.xlabel('Components')
plt.show()
loadings.sort_values(by=1,ascending=False)

Fabian Martinez

student•

El paso para hacer el mapa de calor se puede evitar simplemente usando sns.heatmap(archivo[cols].corr(),annot=True)

Análisis de datos para tu primera regresión lineal

Introducción al curso

Tu primera regresión lineal con scikit-learn

Análisis de datos para tu primera regresión lineal

Entrenando un modelo de regresión lineal con scikit-learn

Cómo funciona la regresión lineal

¿Qué es la regresión lineal?

Cuándo utilizar un modelo de regresión lineal

Función de pérdida y optimización: mínimos cuadrados

Evaluando el modelo: R^2 y MSE

Regresión lineal multivariable

Regresión lineal multivariable

Análisis de regresión multivariable

Proyecto práctico

Regresión lineal para predecir los gastos médicos de pacientes

Exploración y preparación de datos

Análisis de correlación de los datos

Entrenamiento del modelo

Evaluando el modelo

Mejorando el modelo

Pasos siguientes

¿Qué hay más allá de la linealidad?

Siguientes pasos en modelos de inteligencia artificial

Comparte tu proyecto de regresión lineal y certifícate