Creación de features

Clase 23 de 32 • Curso de Machine Learning Aplicado con Python

Clase anteriorSiguiente clase

Mauricio Andrés Guerra Cubillos

student•

Las regresiones NO necesitan de escalamiento, mientras que las clasificaciones SI.

Darvin Orozco

student•

Afirmativo! y Las clasificaciones se ve el impacto en el performance al utilizar los escaladores.

Cristian Enrique Cuevas Mercado

student•

En regresion lineal clasica, sin ML y algoritmo repetitivos para hacer converger el valor del coeficiente . Se realiza alguna transformación de los datos (tipificacion, logaritmo) para buscar cumplir con los supuesto de la regresion, claro, hablo de un caso particular, cuando los datoa no colaboran con spuesto como la linealidad, homocedaticidad o tienen un comportamiento no lineal.

Mauricio Andrés Guerra Cubillos

student•

Para solucionar (reducir) el escalamiento de los datos, se realiza una distribución normal estándar N(0,1). Esto se conoce como tipificar una variable (feature), los pasos son:

1. “Centrar” la variable, es decir, buscar que la media sea 0.
2. Lograr que la desviación estándar sea 1.

Darvin Orozco

student•

Excelente resumen, muchas gracias!

Camilo Andrés Patiño Restrepo

student•

Lo que el profesor está haciendo con la transformación de features se llama "interacción de variables" y en ocasiones eso genera mejores resultados en una regresión. Por ejemplo la venta de una casa depende del precio, pero también depende de su tamaño, entonces la interacción entre precio y tamaño suele expresarse como una multiplicación entre los valores de cada observación y ese nuevo resultado se vuelve una variable de interacción.

Cristian Orozco Benjumea

student•

Para hacer tu código más reproducible, y para evitar tener que aplicar multiples veces una misma transformación es recomendable utilizar sklearn.pipeline.make_pipeline que permite encadenar transformaciones a tus modelos.

Santiago Perez Moncada

student•

a mi al hacer el score cuando usamos PolynomialFeature(2) en el Lasso() me aumento de 0.89 a 0.91 por que

Allan Perez

student•

Mira que features has puesto en X. Quizás se te olvidó quitar el label de ‘worldwide_gross’ de X, que es la variable objetivo y.

Giancarlo Bravo Falabella

student•

También es posible que tengas un feature llamado gross que no eliminamos al crear el archivo X.csv hace varias clases.

Usuario anónimo

user•

![](

David Andres Zapata Florez

student•

Explica muy bien, pero demasiada, demasiada información

Jose Daniel Delgado Ballen

student•

Distribución normal. https://www.youtube.com/watch?v=phY8Z9-TXCY

Arles De Jesus Muñoz Ortiz

student•

buen video

Ruben Eduardo Acosta Vela

student•

¿Porque escalamos X pero Y no?

Diego Forero

Team Platzi•

Si no me equivoco es porque Y son las dimensiones o cantidad de columnas osea cada uno de los tipos de datos, X son los datos como tal.

Edwin Baeza

student•

No tiene sentido escalar las Y porque son los datos de salida, es decir es lo que buscas predecir. y el escalanamiento es una tecnica para mejor el performance es decir que el algoritmo se acerca mas a la Y.

Abraham Cerda

student•

¿Por qué las regresiones no necesitan de escalamiento y las clasificaciones si?

Darvin Orozco

student•

Según entendí en ésta clase, en el minuto 06:05 (aprox.), el profesor nos comenta que los modelos que usan Clasificación tienen un impacto en el performance al usar Escaladores, por esa razón es que si se ++recomienda++ usar escaladores.

Luis Alejandro Hernández Contreras

student•

Porque con el escalamiento a una regresion va a dar igual resultados. Cambia cuando hay solo Clasificación

Usuario anónimo

user•

A mi me dio un buen score:

model_poly = make_pipeline(PolynomialFeatures(2), Lasso())
model_poly.fit(x_train, y_train)
model_poly.score(x_test, y_test)
0.8764254254404755```

Nicolas Enrique Duque Aguirre

student•

En mi caso el score fue de 0.6139028285919832, a proposito, en este video se vuelve a trabajar sin la columna gross de X.csv, el profesor ya lo habia definido en el video anterior pero no se muestra en video cuando ''dropea'' esta columna, por lo que si se vuelve a cargar el csv este va a venir con esta columna y es probable que afecte el score para bien o para mal, se pueden dar cuenta de esto si cuado hacen X.shape les arroja 4104, 8

Usuario anónimo

user•

Comparto el código completo de las técnicas de escalado tratadas en esta sesión de clase:

# Escalamiento de los datos
import warnings
warnings.simplefilter(&quot;ignore&quot;)
%matplotlib inline
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
from sklearn.model_selection import train_test_split

X = pd.read_csv('K:\Cursos MINTIC_Platzi\Curso_de_Machine_Learning_Aplicado_con_Python\Archivos de actividades\intermediate_results\X.csv')
y = X['worldwide_gross']
X = X.drop('worldwide_gross',axis=1)
X_train, X_test, y_train, y_test = train_test_split(X,y)
from sklearn.preprocessing import StandardScaler
scaler = StandardScaler()
scaler.fit(X_train)
scaler.mean_
scaler.scale_
X.values
scaler.transform(X_train)
X_train_scaled, X_test_scaled = (scaler.transform(X_train), scaler.transform(X_test))
from sklearn.linear_model import Lasso
model = Lasso()
model_scaled = Lasso()
model.fit(X_train,y_train)
model_scaled.fit(X_train_scaled,y_train)
print(model.score(X_test,y_test))
print(model_scaled.score(X_test_scaled,y_test))
# Simplificar las transformaciones con pipelines
from sklearn.pipeline import make_pipeline
model_scaled = make_pipeline(StandardScaler(),
                            Lasso())
model_scaled.fit(X_train,y_train)
print(model_scaled.score(X_test,y_test))
# Crear nuevas features de forma automática
A = np.arange(6).reshape(3, 2)
A
from sklearn.preprocessing import PolynomialFeatures
transformer = PolynomialFeatures(2)
transformer.fit_transform(A)
X.shape
transformer = PolynomialFeatures(2)
transformer.fit_transform(X).shape
model_poly = make_pipeline(PolynomialFeatures(2),
                          Lasso())
model_poly.fit(X_train,y_train)
model_poly.score(X_test,y_test)

Rodrigo Urquizo Yepez

student•

El metodo PolynomialFeatures transforma tus datos de la forma y = w0 + x1w1 + x1w2 a esta forma: y = w0 + x1w1 + x2w2 + x1^2w3 + x1x2w4 + x2^2w5, con grado 2(ecuacion cuadratica)

María José Medina

student•

Un ejemplo de un caso en el que se pueda usar PolynomialFeatures?

Dina Luz Silva Villalba

student•

Alguien tendra un listado con todas estas funciones y detallar para que sirven?

Julián Andrés Santos Méndez

student•

Hola Dina. Lo mejor es siempre acudir a la documentación de la librería. Para sckit-learn puedes ir a: https://scikit-learn.org/stable/user_guide.html y buscar la función que quieres detallar y ya está. 😊

Dina Luz Silva Villalba

student•

Gracias Julian!

Víctor Trigo

student•

Cuando en una regresión se agregan las vaiables X1 y X1², eso no es redundar informacion? ya que entre ellas existe correlacion o me equivoco?

Mauricio Barrera

student•

Recordar que es necesario eliminar las siguientes features del set de datos original:

worldwide_gross
gross

Al final trabajan así:

X = X.drop(['worldwide_gross', 'gross'], axis=1)

Jos Gar

student•

Aunque nunca dijo eso. Y si hay otros puntos importantes que no menciona como las seeds.

Santiago Andrés Reinoso Hernández

student•

A mi parecer se deberá mejorar la conclusión de los vídeos. El profesor nos esta enseñando lo que NO se debe hacer, en vez de mostrar los resultados y las mejoras al modelo.

Christian Sanclemente

student•

Les pasa que a veces se pierden y se llenan de informacion y no entienden un carajo? :P solo hay que seguir.