Evaluando el modelo

Clase 19 de 32 • Curso de Machine Learning Aplicado con Python

Walter Antonio Jimenez Geraldino

student•

normed esta depreciada, usar density

plt.hist(lap_residuals, bins = 100, density = 1, histtype = 'step', cumulative = True)

Usuario anónimo

user•

gracias este si funciona

Carlos Alberto Tapia Agámez

student•

Muchas gracias, buen hombre.

JOSE DANIEL HERNANDEZ BETANCUR

student•

Cuando el profesor usa “lap_residuals = np.log(ap_residuals)”, está usando la función logaritmo natural. Sin embargo, cuando hace el análisis de histograma acumulado plt.hist(lap_residuals,bins=100, normed=1, histtype=‘step’, cumulative=True), lo hace como si fuera un logaritmo en base 10 y por eso dice que los y_test con un error residual menor al 10%(0.1 en decimal o -1 en escala logarítmica) corresponde al 40% de los datos. Pero, realmente el logaritmo natural de 0.1 (10% de error) es -2.30259, lo que quiere decir que incluso mucho menos del 40% de los y_test tienen un error menor al 10%.

Darvin Orozco

student•

Excelente análisis, muchas gracias! Es bueno siempre tener fina la vista en detalles importantes.

Jesus David Galarcio Noguera

student•

Muy interesante. Según entiendo, para hacer la interpretación como el profesor, debemos usar logaritmo en base 10 , y no .

lap_residuals quedaría así:

lap_residuals = np.log10(ap_residuals)

Agradezco alguien más me confirme si estoy bien. Creo que esta parte de interpretación del desempeño de los modelos es clave.

Ever Andrés Giraldo Ramírez

student•

Tengan en cuenta que el parametro "normed" fue reemplazado. Deben cambiarlo por "density = True"

Daniel Fernando Murcia Perdomo

student•

Muchas gracias amigo

Loren Johanna Vásquez Rivera

student•

Muchas gracias por el aporte.

Joel Carmona

student•

Maldigo la barra de los videos que no permite ver el código…

Darvin Orozco

student•

¿Cómo lo solucionaríamos?

Arturo Baduna

student•

yo lo pongo pantalla completa

Nicolas Enrique Duque Aguirre

student•

Para quienes tengan dificultad en seguir los datos que el profesor interpreta gráficamente, la clave está en saber en que rango es bueno que se mueva el R, si el R es negativo significa que es mejor usar un modelo mas simple(la media), y si es cero significa que es lo mismo usar el modelo mas simple (la media), como la idea es usar algo mejor que la media significa que debemos estar por arriba de cero, pero tampoco mucho, lo ideal es que todos los valores esten mayores a 0 e iguales o menores a 1, siendo lo mejor que esten mas concentrados cerca de 1, basicamente si el error es cero nuestro error es de 100% porque no es mejor que la media, si es negativa ya seria mas del 100%, y si tambien es mayor a 1 tambien es un error superior a 100%

Espero sirva esta información.

Carlos Guzmán

student•

Hola Nicolas, podrías ayudarme a entender esto un poco más por favor. En el video el profesor dice que cuando es -1, significa que es un error menor al 10%, pero vos estás diciendo que valores menores a 0 significa que el error es mayor a 100%. La verdad no entiendo como se lee ese gráfico.

Nicolas Enrique Duque Aguirre

student•

Hola Carlos, si claro, la manera mas sencilla de trazar una linea para tratar de predecir el comportamiento de los datos seria trazar una linea constante en el valor de la media de los datos, sin embargo, estamos haciendo este modelo para trazar una linea donde las distancias de los datos, en este caso los worldwide-gross, sea lo mas corta posible a la recta del modelo, por lo que nuestro punto de comparación para saber si la recta que gráfica el modelo esta bien o no sera si es mejor que la media, que en terminos de la gráfica es ser mayor a cero, porque si es cero es igual usar la media para calcular el score, si es menos de cero o negativo, nuestro modelo se desempeña peor que la media, por lo que los cambios que hicimos no habrían servido, el objetivo es ser mejor que la media (mayor a cero) pero no tanto porque los datos se volverian a dispersar, por lo que los datos deben estar mayores a cero y lo mas cerca de 1, esto explica el eje x, y en el y tienes el porcentaje de datos que cumplen cada criterio, entonces 0,1 seria el 10% de los datos, 0,5 el 50% y hasta 1 que seria 100%, entonces debes mirar dos lineas, una vertical y otra horizontal para saber que tanto % de los datos es mejor que la media (mayor a cero) y para que otro tanto % es mejor usar la media (cero o menor).

Espero haberte ayudado

Usuario anónimo

user•

Para quienes les salga el warning, en el histograma, usen:

plt.hist(lap_residuals,bins=100, density=1, histtype='step', cumulative=True);

Julian David Gomez Londoño

student•

normed se cambia por density, muchas gracias

Carlos Daniel Pimentel Díaz

student•

Para los que le aparece error usando la línea

plt.hist(lap_residuals,bins=100, normed=1, histtype='step', cumulative=True);

éste aparece porque 'normed' ya no se usa. Solo hay que cambiarlo por 'density=True' así:

plt.hist(lap_residuals,bins=100, density=True, histtype='step', cumulative=True);

Luciano Gauchez

student•

Gracias

María José Medina

student•

A pesar de que la última parte de la clase no fue muy clara, en general se vió un concepto aquí que no habia visto en otros cursos de ML de Platzi y que me pareció super importantísimo a la hora de evaluar nuestros modelos y no limitarnos solamente a un buen score.
Como complemento y para reforzar un poco la parte de los residual plots, dejo este extracto de un artículo de Towards Data Science. Tocará investigar más sobre la Función cumulativa de los errores (Si alguien tiene una buena referencia que aportar, agradecería muchísimo que lo dejaran en el comentario de este post).
📌 Características de un buen residual plot

Tiene alta densidad de puntos cercanos al origen y baja densidad de puntos alejados del origen.
Es simétrico en el origen. Ejemplo:

Otra razón por la cual este gráfico es un buen residual plot es porque independientemente del valor de una variable independiente (eje x), los errores residuales se distribuyen aproximadamente de la misma manera (distribución normal) y no vemos ningun patrón en los valores.

Por otra parte, el siguiente gráfico no es un buen residual plot al no cumplir con las condiciones mencionadas,

Referencia:

Alta densidad de puntos lejos del origen.
Al proyectar los puntos en el eje Y, no se tiene una distribución normal.
Referencia: How to use Residual Plots for regression model validation?

Nicolás Neira Navarrete

student•

Excelente aporte! mucha gracias

Juan Camilo Muñoz Bedoya

student•

no me queda clara la interpretación de la última gráfica

Joel Ricci López

student•

Puedes intentarla **sin **el parámetro cumulative = True, eso te permitirá ver el histograma y ver que para la mayoría de los datos el porcentaje de error es muy cercano a 0. Ya en la gráfica acumulativa (cumulative = True) el eje y es igual al porcentaje de datos evaluados, y el eje x representa el porcentaje de error de la predicción del modelo, pero en escala con logaritmo base 10, con lo cual 1 = 10% error, 2 = 100%, entonces, como la gráfica es acumulativa, podemos leerlo como en el siguiente ejemplo:

y% de mis datos están por debajo de x% de error (o 10^x % para ser más precisos).

OJO: Alguien a comentó que el profesor debió haber usado np.log10() para calcular el logaritmo de los porcentajes de error.

Luis Fernando Ramírez Sánchez

student•

Estuvo bastante bien, aunque me parece muy superficial la explicación de las últimas evaluaciones.

David Andres Zapata Florez

student•

Mi score es de 0.8147688432149884, será que le creo?

Gabriel Vladimir Valdivieso Vanegas

student•

A los que le aparece el error 'Polygon' object has no property 'normed' tienen que cambiar normed=1 por density=True

plt.hist(lap_residuals, bins=100, density=True , histtype='step', cumulative=True);

Alexandra Esteban

student•

mas abajo se encuentra la respuesta

plt.hist(lap_residuales,bins=100, density=True, histtype='step', cumulative=True)```

Esteban Molina Gomez

student•

Gracias

Alexandra Esteban

student•

En estadística el R2 es un valor definido entre 0 y 1, no puede ser negativo, según la definición de Juan Pablo puede ser -infinito a 1, esto quiere decir que el r2_score no aplica a la definción del R2 usado en estadística?

Gustavo Adolfo Abello Fernandez

student•

mi Score fue de 0.8028088337703886

Luis Alberto Baas Valdez

student•

Cuando hago la penúltima parte me sale este error¿Alguien sabe como solucionarlo ?

Jean Paul

teacher•

Revisa si en lap_residuals no tienes valores NaN. Si es que los tienes remplazalos por medias o por 0.

Usuario anónimo

user•

Debes revisar si los datos del archivo fuente están completamente limpios y no tiene datos NaN.

Camilo Andrés Patiño Restrepo

student•

Link del datasaurio: https://www.autodeskresearch.com/publications/samestats

Usuario anónimo

user•

No entendi lo que hace el ; :$

Giovanni Villarreal Hernandez

student•

Sin el punto y coma te muestra todo el array y el gráfico. Con el punto y coma solo te muestra el gráfico

Elkin Andres Clavijo Zuleta

student•

Usar density en vez de normed.

Pedro Enrique González Valdivieso

student•

Anscombe's Quartets
The Datasaurus Dozen

Mateo Murcia Valles

student•

Hola chicxs🤠tengo una duda, por qué cuando utilizo el range entre -10 y 3 sí funciona? ![](

![](

Edgar Leonardo García Zavala

student•

El error que marca es, básicamente, que el rango no es finito. Cuando pones el rango (-10,3) el intervalo es finito. Por eso es que no te marca error. Pero el rango inicial, en donde te marca error es, (9.7..., INFINITO) y este es un intervalo infinito. Por eso es el error.

Evaluando el modelo

Introducción al curso

Introducción al curso de Machine Learning Aplicado con Python

Cómo definir un problema de Machine Learning

Importancia de definir el problema en Machine Learning

Predecir el ingreso de películas de IMDB

Terminología de Machine Learning

Materiales del curso: Notebooks de Jupyter

El ciclo de ingeniería de Machine Learning

El ciclo de Machine Learning

Montar un ambiente de trabajo Pydata

Configuración del ambiente de trabajo con Google Collab

Qué es y cómo se utiliza Numpy

Arrays en Numpy

Operaciones aritméticas en Numpy

Preparación de los datos

Cargar los datos necesarios para el proyecto

Inspección de los tipos de datos

Inspección cuantitativa y de salud de los datos

Limpiar los datos

Manejo de datos faltantes

Modelación y evaluación

El objeto estimador de Scikit-Learn

Implementar un modelo de regresión (Lasso)

Ajustando Modelos de Machine Learning, Underfitting y Overfitting

Evaluando el modelo

Feature Engineering

Feedback del modelamiento

Análisis exploratorio

Continuando con el análisis exploratorio

Creación de features

Creando más features

Selección de features y la maldición de la dimensionalidad

Modelos y Evaluación más avanzada

Cross Validation

Selección de modelos

Curvas de aprendizaje

Introducción a Ensembles y Árboles de Decisión

Random Forest y Gradient Boosting Trees

Optimización de hiperparámetros

Conclusiones del curso