Cross Validation

Clase 26 de 32 • Curso de Machine Learning Aplicado con Python

Cristian Orozco Benjumea

student•

Cross Validation:
Divido en n folds mi dataset y hago n valuaciones. Al tener varias separaciones y por ende n scores vamos a tener un score más robusto al promediar. Entre 5 y 10 folds es suficiente, si es mayor no va a variar mucho el score

Darvin Orozco

student•

Muy buen resumen, gracias!

Jhon Freddy Puentes Nuñez

student•

Mi conclusión aquí: Si hay features sin datos es mejor desecharlos. Con datos mas limpios sacamos un mejor score.

Jimmy Buriticá Londoño

student•

Cross Validation, consiste en dividir en n grupos el dataset y se realizan n evaluaciones. Al obtener diversas separaciones y por ende n scores vamos a tener un score más robusto al promediar. Entre 5 y 10 grupos es suficiente, en caso de que sea mayor, el score no variara considerablemente.

Usuario anónimo

user•

No me quedó claro el por qué con train_test_split obtuvimos mejores resultados que con cross_validation. Entiendo que al haber mejorado nuestra base de datos, pues mejoró el score de train_test_split, pero no debió ocurrir lo mismo con cross_validation?, no debió dar al menos más cercano al valor del train_split?

Ahora, qué significa el score de cross_validation?, que ese será el resultado del score que obtendré al entrenar mi modelo con cross?, si es así, entonces sigue siendo mejor del de train. No se, quedo algo confundido

Jean Paul

teacher•

Train_test_split y cross_validation permiten generar estimadores (en el sentido estadistico) de la performance que tiene el modelo, pero no son en si la performance real que tendra el modelo (son una estimacion, valga la redundancia).

Cross_validation es un estimador mas robusto, ya que contiene menos cesgo que un estimador train_test_split. Eso si computacionalmente es mas caro calcular una cross_validation asi que en ciertos casos puedes preferir usar train_test_split por ejemplo si tu dataset es muy grande.

Es normal que los dos estimadores den resultados distintos. Si biene tienen correlacion, no son lo mismo.

Javier Humberto Cuadros Picon

student•

A la respuesta de @JeanPaul, adicionaría que entre mayor score tenga nuestro corss validationmejor será nuestro performance del modelo, por ser más robusto, tiene mayor capacidad de entrenar y evaluar nuestros datos, pero si son extensos nuestros datos por el valor computacional el estimador train_test_split nos puede servir.

Espereo les ayude.

Nicolas Enrique Duque Aguirre

student•

Acá también se comienza a ver lo que el profesor hablaba sobre conocimiento experto, cuando realicé la tarea al momento de eliminar datos yo tuve en cuenta que no existieran valores nulos o faltantes para la variable objetivo como se habia hecho antes, como esto no pasaba solo rellene los datos nulos con el promedio, como resultado mi dataframe tenia 2304 lineas, pero resulta que ahora la prioridad es el número de pantallas, en esencia el ejercicio es el mismo solo que ahora si se debe hacer el mask para tomar solo los datos que tienen valores de screens, pues hay 83 datos faltantes de screens, ahí está el 2221 al que el profesor se refiere, pero esto ya es una consideración desde su experiencia, para saber cual manejo de datos seria mejor tocaria comparar el dataset de 2304 dando prioridad al worldwide_gross vs este que le dio prioridad a las screens, les contaré luego.

Fernando José Rueda Peña

student•

Con mas sencillez : La validación cruzada o cross validation consiste en tomar los datos originales y crear a partir de ellos dos conjuntos separados: por ejemplo un primer conjunto de entrenamiento (y prueba), y un segundo conjunto de validación.

Luego, el conjunto de entrenamiento se va a dividir en k subconjuntos y, al momento de realizar el entrenamiento, se va a tomar cada k subconjunto como conjunto de prueba del modelo, mientras que el resto de los datos se tomará como conjunto de entrenamiento.

Nicolás Neira Navarrete

student•

No entiendo donde saco el archivo 'X_opening.csv', en cual video lo genera?

Jean Paul

teacher•

Hola! Corresponde al archivo X.csv donde se hizo un join con las dos columnas interesantes de opening.csv (basicamente agregamos dos features al dataset anterior, que es el opnening_gross y la cantidad de cines donde fue estrenada la pelicula)

Usuario anónimo

user•

https://drive.google.com/drive/folders/15Cy-GoLEoDKB45x7ICzW1RLAGEevkKjh

Aquí puedes encontrar los archivos que usa en las clases

Alexis Méndez Méndez

student•

donde se puede descargar X_opening.csv?

Enmanuel Madrid

student•

https://drive.google.com/drive/folders/15Cy-GoLEoDKB45x7ICzW1RLAGEevkKjh

Alexis Méndez Méndez

student•

Gracias!

Ana Guzmán

student•

Haciendo el cross validation con mi propio x_opening que hice limpiando data, me dio un valor mas alto que el split.

María José Medina

student•

Creo que hemos visto una buena tecnica para testear los modelos, primero lo entrenamos y evaluamos con tran_test_split. Con con train_test_split podemos experimentar con el feature engineer ya que tiene un menor coste computacional. Ahora como prueba final lo evaluamos con cross validation, y como no tuvimos un buen score la alternativa que nos queda es modificar el modelo como tal.

Wilson Fernando Antury Torres

student•

train_test_split() : Nos sirve para poder prototipar rápidamente ya que cross Validation es más costoso en cómputo. Se usa también para el cálculo final del performance.

Nicolas Moreno Diaz

student•

Partes de este vídeo podrían haber aparecido cuando empezamos a hacer los train_test_split

Usuario anónimo

user•

O sea que todo este tiempo trabajando con el train_test_split para abandonarlo :_(

Carlos Enrique Cordero Linares

student•

No necesariamente, todas estas herramientas son relativas a lo que se necesita en su momento.

Por ejemplo si es un set de datos "relativamente" pequeño el utilizar el Cross validation puede ayudar a tener mejor resultados, pero si los datos son demasiados requerirá demasiado poder computacional el aplicar ese mismo modelo

Andrés Mauricio Guevara Riveros

student•

Modifique el codigo del profesor porque utilice el mismo archivo x.csv de excel

%matplotlib inline
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
from google.colab import files
uploaded = files.upload()
# Suben el archivo desde el computador.
import io


X = pd.read_csv(io.BytesIO(uploaded['x.csv']))
X.head()


from sklearn.model_selection import train_test_split
X_train, X_test, y_train, y_test = train_test_split(X,y, random_state=1)

X_train.head()
X_train.head()

len(X)

X2_train, X2_test, y2_train, y2_test = train_test_split(X,y, random_state=1)

pd.DataFrame.equals(X_train,X2_train)

from sklearn.model_selection import cross_val_score
from sklearn.linear_model import Lasso
scores = cross_val_score(Lasso(),X,y,cv = 5,scoring = 'r2')
scores

scores.mean()

Lasso().fit(X_train,y_train).score(X_test,y_test)```

Sebastian Castillo

student•

Archivo dañado

Ricardo Celis

teacher•

Hola! ya lo corregí baja el tercer archivo, no te debería dar problemas =)

Usuario anónimo

user•

Encontré la respuesta a mi pregunta de como garantizar que la selección aleatoria de los datos para entrenamiento y prueba fueran los mismos.

<(X,y ramdom_state=1)
# para comprobar muy interesante la función
pd.Dataframe.equals(X_train,X2_train)>

Geovany Uribe Aguirre

student•

Hola, cuando veo el score del modelo normal y el binario, me dan 0.58 más o menos (con el R2):

Sin embargo, cuando evalúo con corss validiation, no me da ni cerca de 0.5 alguno de los resultados:

Y el score promedio pasa de 0.58 a -0.14 ¿Esto puede estar bien? ¿Es normal que pase de 0.58 a menos de 0?

Usuario anónimo

user•

Debes revisar que estés usando el ultimo archivo X_opening.scv ya que este tiene las modificaciones de limpieza de datos que pidió el instructor en el vídeo anterior.

Loren Johanna Vásquez Rivera

student•

Hola Geovany, me pasó lo mismo y fue porque usé la BDD 'x.csv'. Para esta clase hay que tener en cuenta el archivo de opening y hacer merge con X, o en el caso de las BDD que subió el profesor, es el archivo llamado 'X_opening' que incluye los datos de lo que recaudaron las películas en su primer estreno.

Jesus David Galarcio Noguera

student•

¿Si hago validación cruzada, no debo dividir la base de datos en Train y Test?.

Quedo con la duda de si estos métodos son mutuamente excluyentes, ya que el profesor aplica Validación cruzada sobre toda la base de datos 'X', y no sólo sobre X_train.

Hugo Alexander Gonzalez Bocanegra

student•

Hola Jesús, la respuesta es no, ya que dentro de los argumentos de cross_val_score, X será dividido en un # de folds (cv),los cuales seran tomados tanto para el Train como para el Test.

esta info tal vez te pueda sacar mejor de la duda:

https://scikit-learn.org/stable/modules/generated/sklearn.model_selection.cross_val_score.html

Jesus David Galarcio Noguera

student•

Muchas gracias

Usuario anónimo

user•

¿Que otra forma distinta se puede implementar para robustecer el score?

Aaron Fabrizio Calderon Guillermo

student•

scores = cross_val_score(Lasso(), X_train, y_train, cv=5, scoring='r2')

¿Debió ser así?

Luis Angel José Portillo Arévalo

student•

Hola! no, el profesor lo hizo correctamente, el cross validation es un metodo alternativo al train_test_split, como menciono el profesor, el train_test_split es para prototipar, porque es una solucion mas rapida al principio al hacer pruebas sobre los datos y en etapas tempranas del modelamiento y feature engineering.

El cross validation es mas costoso computacionalmente pero mas robusto, al cross validation no tienes que pasarle data de entrenamiento, debes pasarle todo el dataset porque lo que hara internamente es dividir la data en pedazos (cv es la cantidad de pedazos) y probar cada uno de esos pedazos de data, es como si hicieras varios train_test_split y probaras cada uno de ellos sin repetir la misma data en cada pedazo.