Selección de features y la maldición de la dimensionalidad

Clase 25 de 32 • Curso de Machine Learning Aplicado con Python

Clase anteriorSiguiente clase

Wilson Fernando Antury Torres

student•

Conocimientos para machine learning:

Matemáticas
Computación
Experticia de dominio.
La creación manual de features generan un gran efecto.
Incluso más importante que la experticia y los modelos a usar, está la calidad de los datos.

Pedro Enrique González Valdivieso

student•

Creo que no debimos usar el score IMBD para entrenar los algoritmos ya esa información lo la tendríamos a la hora de realizar una predicción sobre una película que aún no se ha hecho.

Darvin Orozco

student•

Si, justo en éste punto de la clase de puede llegar a esa conclusión. Sin embargo, no sé si en muchos proyectos tenemos que actuar con la poca data que tenemos y eso podría afectar la certeza del modelo.

Juan Martín Suárez Sunción

student•

Sí, tienens razó, pero igual si lo tomamos en cuenta solo faltaría una variable y así podemos aplicar el .predict() para cada valor del IMDB y así tener cuánto sería la ganacia total en función de una sola varible.

Nicolas Enrique Duque Aguirre

student•

Fue un ejercicio interesante analizar el rendimiento del modelo, en mi caso tuve un nuevo score R2 de 0.89599, mejorando el score del primer módelo que fue de 0.85 cuando se hizo en clase, para el ejercicio decidí no hacer mas modificaciones como creación de features o selección automática de features pues considero que si durante el desarrollo del ejercicio estos cambios no aportaron mejoras sustanciales a la predicción en este caso tampoco lo harán(aunque tal vez mas adelante si lo haga).

Para poder incluir archivo csv opening_df se debe hacer un merge como se hizó con finnancials aprovechando que éste trae la columna title_movies, pero como X no contiene esta columna, basicamente volví hacer toda la preparación de datos de las primeras clases, volviendo hacer toda la separación de datos númericos de textos (objects), haciendo de nuevo el merge de finnancials y haciendo esta vez un segundo merge con opening_df, en este caso, la reducción de datos si es de un 50% ya que opening_df tiene 2272 lineas y otra cosa es que al parecer en opening_df se incluyen nuevas peliculas pues si bien está tiene 2272 lineas, al hacer el merge con movies queda con 2304 lineas, por lo que si bien mejoró el score y además también lo validé con el analisís visual y tanto el scatter normalizado como la función cumulativa obtuvieron mejor rendimiento y menos error, me queda la duda con respecto a lo que dijo el profesor, también como se hizo en clase rellené los datos faltantes con el imputer, pero no vi necesario eliminar datos pues en este caso worldwide_gross no tenia datos faltantes, solo nulos.

Les dejo el código utilizado, yo trabajé en google colab.

# -*- coding: utf-8 -*-
# %matplotlib inline
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
from google.colab import files
from IPython.display import Image

new_data = pd.read_csv('https://github.com/JuanPabloMF/datasets-platzi-course/raw/master/datasets/peliculas.csv', encoding = 'utf-8')
new_data

new_data.dtypes == float

new_data.dtypes == int

(new_data.dtypes == float) | (new_data.dtypes == int)

new_data.dtypes == object

num = (new_data.dtypes == float) | (new_data.dtypes == int)

num_cols = [c for c in num.index if num[c]]

obj = new_data.dtypes == object
obj_cols = [c for c in obj.index if obj[c]]

new_data_num = new_data[num_cols]

financials = pd.read_csv('https://github.com/JuanPabloMF/datasets-platzi-course/raw/master/datasets/thenumbers.csv')

financials = financials[['movie_title', 'production_budget', 'worldwide_gross']]

new_data_num = pd.concat([new_data_num, new_data['movie_title']], axis=1)

new_data_num.shape

additional_data = pd.read_csv('https://github.com/JuanPabloMF/datasets-platzi-course/raw/master/datasets/opening_df.csv', encoding = 'utf-8')

additional_data.shape

movies_v2 = pd.merge(financials,new_data_num,on='movie_title',how='left')

new_movies = pd.merge(additional_data,movies_v2,on='movie_title',how='left')

new_movies

new_movies.notnull().apply(pd.Series.value_counts)

(new_movies != 0).apply(pd.Series.value_counts)

from sklearn.impute import SimpleImputer as Imputer
imputer = Imputer(missing_values=np.nan, strategy='mean')

new_movies = new_movies.drop('movie_title',axis=1)

new_movies = new_movies.drop('Unnamed: 0',axis=1)

new_movies = new_movies.drop('duration.1',axis=1)

new_movies

values = imputer.fit_transform(new_movies)
values.shape

X = pd.DataFrame(values)
X.columns = new_movies.columns
X.index = new_movies.index

X

X.notnull().apply(pd.Series.value_counts)

(X != 0).apply(pd.Series.value_counts)

"""**Se procede a entrenar y evaluar el modelo con la informacion nueva**"""

y = X['worldwide_gross']

X = X.drop('worldwide_gross',axis=1)

from sklearn.model_selection import train_test_split

X_train, X_test, y_train, y_test = train_test_split(X,y,test_size=0.4)

print(len(X))
print(len(X_train))
print(len(X_test))

from sklearn.linear_model import Lasso

model = Lasso()

model.fit(X_train,y_train)

predicted = model.predict(X_test)

model.score(X_test,y_test)

residuals = y_test - predicted

plt.scatter(y_test,residuals)

ap_residuals = np.abs(residuals) / y_test

plt.scatter(y_test,ap_residuals)

lap_residuals = np.log(ap_residuals)
plt.scatter(y_test,lap_residuals)

plt.hist(lap_residuals,bins=100, density=1, histtype='step', cumulative=True);

plt.hist(lap_residuals,bins=100, density=1, histtype='step', cumulative=True);
plt.axis((-2,0,0,1)) # Axis desde -2 hasta 1
np.power(np.exp(1)*np.ones(5),np.linspace(-2,0,5))```

Usuario anónimo

user•

ML consta de tres conocimientos claves:

Matemática
Computación
Experticia de dominio (conocimiento de alguna especialidad de conocimiento. Ej: algún campo de medicina)

Jhon Freddy Puentes Nuñez

student•

Importante aquí: Recordar la calidad y limpieza de los datos, volver a los capitulos 5 y 6 de preparación, modelado y evaludacion de datos para que no se nos pase esto.

Ariel Sharpe

student•

no pude lograr el desafió de agregar las columnas, y no encuentro el vídeo en donde nos enseña a hacerlo alguien me podría echar una mano. gracias (:

Nallely House

student•

tienes que usar pd.merge() el nombre de las películas funcionaran como llave, tienes que verificar la cantidad de columnas del otro archivo, ya que si no se encuentra la llave se agregaran columnas vacías, o puede que encuentre la llave pero no se tienen los datos que se desean agregar. al final se recomendaría remover esas filas, y eso fue lo que hizo el profesor con la ultima versión del csv.

el archivo csv esta en los materiales del curso en el link de drive.

pd.merge([archivo1.csv,archivo2,csv,on=['movie_tittle']], axis =1)

Usuario anónimo

user•

Nivel de importancia

Calidad de datos
Selección de features
Algoritmo

Usuario anónimo

user•

Me falta mucho por aprender

Cristian Orozco Benjumea

student•

Como en todo campo es importante la experiencia previa para tener un mejor resultado. Los datos son los que ayudan a mejorar de igual forma esa experiencia.

Darvin Orozco

student•

Finalmente como que el machine learning "depende" mucho del factor humano al elegir otros datos de otras features. ¿Qué piensas?

Usuario anónimo

user•

Si es correcto y no solo los datos sino también la calidad de dichos datos.

Jimmy Buriticá Londoño

student•

Generar features con la ayuda de un experto, mejora la calidad de mi modelo.

Usuario anónimo

user•

Si se puede, pero como vimos en los vídeos anteriores, trabajar con 7 o mas o menos no es mucha la diferencia de los resultados. Solo si estos nuevos datos son como los que indicas, datos futuros con los que no cuenta el ente gubernamental en el ejercicio.

Carlos Jacob Carrasco Rodriguez

student•

Excelente capitulo, muy importante lo que se explica en un principio, el conocimiento experto es algo que se debe construir paso a paso, he involucrándose en problemas.
No tenía idea sobre la pirámide de maslow, me ayuda agregar peso para saber dónde buscar la solución.
Además aquí se explica por que en el principio del curso hay unas columnas que no entendía de donde aparecian y aquí se explica muy bien.
Gracias

Darvin Orozco

student•

La base del ML no son los datos, es la calidad de los features a elegir. Que gran principio el que hemos aprendido en ésta clase, Saludos.

Usuario anónimo

user•

La experticia se acumula con bastante tiempo de conocimiento y desarrollo de habilidades en la respectiva área de trabajo.

Usuario anónimo

user•

Nivel de importancia interesante según la Pirámide de Maslow

Calidad de los datos
Selección de features
Algoritmo

Usuario anónimo

user•

El ML consta de tres conocimientos claves: 1. Matemática 2. Computación 3. Experiencia de dominio (conocimiento de alguna especialidad de saberes).

Usuario anónimo

user•

Niveles de importancia a tener en cuenta según la Pirámide de Maslow:

Calidad de los datos
Selección de features
Algoritmo

Imagen de la pirámide de Maslow: ![](

Usuario anónimo

user•

¿Como puede influenciar la experticia del experto al realizar el algoritmo y el análisis de los resultados obtenidos?

Usuario anónimo

user•

Excelente la clarida sobre el conocimiento experto y la piramide de Maslow!

Usuario anónimo

user•

Faltaron los datos o el Scrapper parabajar los datos o la pagina para hacer el scrapper y bajar los datos algo para continuar con el ejercicio

Usuario anónimo

user•

Excelente información, seguimos.

Geraldine León

student•

Hola a todos! En el archivo opening_df.csv no me aparece 'movie_title'. Cómo se supone que puedo hacer un merge con nuestros datos si no sé a qué película pertecence cada línea de datos? Hay algo que no estoy viendo? Si me pueden ayudar por favor, me parece super interesante y quisiera lograr el reto!