Mejorando el modelo
Contenido del curso
Mejorando el modelo
Contenido del curso
FELIX DAVID CORDOVA GARCIA
Luis Fernando Laris Pardo
:O quedó interesante tu gráfico de los residuales ¡gracias por compartir! Yo siendo curioso, me pregunto si beneficiaría al modelo que usaras dropout entre las capas :thinking:
Tomas Dale
MUCHISIMAS GRACIAS, MUY BUEN APORTE, PREGUNTA, COMO SE PODRIA HACER UNA PREDICCION? NO LOGRO HACER EL COMANDO PARA QUE DEVUELVA UN 'Y' CON PREDICCION
César Isaac González Naranjo
por qué edad al cuadrado ? para qué sirve ? , darle más peso a la edad ?
Jose Manuel Rivas Márquez
tengo la misma duda
Sebastian Alejandro Gómez Ardila
Pensé algo similar, pero cuando realizamos
sc_y = StandardScaler().fit(y) y_train = sc_y.transform(y_train)
los valores se normalizan, tengo la misma duda, si alguien puede ayudar a resolverla, genial
Para mejorar el modelo de regresión lineal, puedes considerar las siguientes estrategias:
Feature Engineering:
Selección de características:
Regularización:
Manejo de valores atípicos:
Validación cruzada:
Regularización de hiperparámetros:
César Isaac González Naranjo
Me pueden explicar un poco sobre la gráfica de residuales ? no entiendo para que es o como interpretarla :D
Patricia Carolina Perez Felibert
tambien me quedo esa duda
Saúl Regalado
El modelo toma el valor 0.0 y cada punto es el valor real del dataset. Por lo que la "distancia" entre cada punto y la línea del 0 representa que tanto le faltó/sobró al modelo para predecir el valor real, en otras palabras el residuo
Ignacio Milesi
Se puede verificar la relacion bien marca entre un pasiente con sobrepeso y fumador con los costos:
La grafica se puede obtener con:
sns.scatterplot(data = df_second[['age', 'charges', 'sobrepeso*fumador' ]],
x = "age",
y = "charges",
hue= 'sobrepeso*fumador')
Yonatan Efraín Jara Boza
Buenas, sobre la tabla resumen, a partir de que se muestra en columnas el estadìstico t y el valor p, entiendo que esto esta relacionado con la parte inferencial de la estadìstica, en la que el 0.05 es por el nivel de significancia 5% y que cuando el p-value era menor que este 0.05 se rechazaba una hipótesis nula. La pregunta es: Cómo entender intuitivamente que al ver estos valores-p algunos me servirán y otros no sabiendo esta base estadística? Cuál es la hipótesis nula aquí si es que la hay? Qué quiere decir que una variable es igual a 0 (se menciona en 9:05)?
Javier Arrieta
Vale pero como puedo pasarle datos para que realice una prediccion? porque a mi pensar falta explicar eso, nose como pasarle los datos necesarios para que el modelo haga su trabajo y me haga una preccion, por ejemplo un paciente con 60 años, que fuma pero no es obeso, y ademas tiene 2 hijos
Gerardo Mayel Fernández Alamilla
muy buena pregunta, lo que mencionas sería poner a tu modelo en producción hay varias maneras, una es un batch, es decir podrías tener los nuevos datos que quieres predecir en un archivo cdv, cargarlos y hacer la predicción, el modelo puede exportarse como archivo .pkl , es decir el modelo entrenado, y después cargarlo com la librería job lib, una vez cargado puedes empezar a hacer predicciones en nuevos datos, es importante que esos nuevos datos tengan la misma estructura que los datos con los que entrenaste el modelo, te dejo un ejemplo de una nueva predicción considerando los datos que mencionaste en el.ejemplo y complete los otros datos que no mencionaste , este código puedes incorporarlo a tu notebook ara empezar a hacer nuevas predicciones en mi caso el segundo modelo entrenado lo llamé model_2
model_2.predict([[60, 30.64, 2, 3600, 0, 1, 1, 0, 1, 0, 0]])
se obtiene el resultado:
array([[254.14142089]])
Juan Jose Sepulveda Calderon
¿Con qué criterio se debe crear nuevas variables?
Cristian Enrique Cuevas Mercado
aun así existe presencia de heterocedasticidad en los residuos
Alejandro Collado Valverde
Como es posible que con los mismos datos y el mismo codigo me esten dando valores distintos en los coeficientes?
Andrés Fernández
La mejor clase del curso!
Ángel Samuel Suesca Ríos
Es fundamental entender estadística inferencial para poder saber qué tan aceptable es cada uno de los coeficientes, y qué tan buena es su estimación.
Angel Estrada
¿Como podemos analizar que nuevas variables podemos crear con base en las variables que ya tiene nuestro dataset?
Me refiero a las combinaciones entre ellas como lo que hizo con el sobrepeso y el fumador, eso me hace sentido, lo que no me hace sentido es porqué la edad al cuadrado es más efectiva?
Que condiciones o reglas debemos analizar o llevar a cabo para definir eso?
Moises Bravo
No explico cuales son los criterios exlusion
Daniel Andres Rojas Paredes
me gustaria saber como se tomo la desicion de crear especificamente esas variables?
Jorge Luis García González
Ese tipo de decisiones están relacionadas con el trasfondo de la información que tienes. Normalmente el investigador o analista tiene el conexto completo de lo que se está analizando. Por ello es importante hacer un análisis exploratorio de datos más profundo del que este curso en partícular sugiere, te recomendaría buscar ese curso en la ruta de Análisis de Datos, que es buenísima.
La más llamativa para mi fue la decisión de tomar la edad al cuadrado, normalmente este tipo de decisión tiene el trasfondo intuitivo de que la edad tiene un escalamiento en los cargos.
Un ejemplo valioso que puedo darte también es el relacionado con las determinates del crecimiento del ingreso, normalmente el nivel educativo es significativo, pero tiene un comportamiento marginal, así la expresión cuadrática de la variable funciona como un ajuste al máximo o a un rendimiento decreciente así como lo hace la edad en este ejemplo.
Espero haberte ayudado, saludos!
sebastián Giraldo Vargas
Por qué al utilizar metrics el r2 me da negativo, pero en el summary me lo muestra positivo?. afecta en algo?
José Fernando Aguilar Arredondo
Hola Sebastián, podrías mostrarme tu código, por favor :) Y ver que es lo que paso.
Andres Sanchez
¿Con qué criterio sé cuáles variables elevar al cuadrado y cuáles no?
Yonatan Efraín Jara Boza
Otra cuestión, el contexto es que yo he estandarizado X_train y X_test ambos a partir de ajustar el modelo de estandarización a solo X_train (no a todo X), y no he estandarizado ni Y_train ni Y_test, esto por los aportes de mis compañeros y lecturas por foros sobre que practicas usa la comunidad. . Entonces he seguido los pasos explicados del video para mejorar el modelo y me resulta todo muy similar incluyendo que elijo las mismas variables para el modelo final, la diferencia es en el p-value del intercepto pues me da 0.000000 (no 0.85 o 0.66 como en el video). . Esto qué significado tiene? Cuál es el análisis que se le puede dar? . Por si acaso, también he probado con la ruta de estandarizaciones de variables del docente y me dió valores similares a los del video para todos los p-value, o sea parece que las estandarizaciones fueron las determinantes.
Francisco Alberto Cervantes Rodríguez
Una vez hecho el segundo modelo (antes de eliminar las variables) decidí graficar la relación entre la Edad y el Cargo:
plt.scatter(X_test[:,5], y_test, label='test') plt.scatter(X_test[:,5], y_predict, label='predict') plt.xlabel('Edad normalizada') plt.ylabel('Cargo normalizado') plt.legend(loc=(1.02,0.5)) plt.show()
Me sorprendió lo parecido que son los datos predecidos con los del test! Ver este tipo de cosas sólo me hacen querer continuar más en esto. Muchas gracias profesor!!
Alberto Gonzalez
Voy a probar el código que muestras en tu aporte, me ha interesado bastante! Esta área del análisis de lbig data con machine learning es bien interesante.
Gerardo Mayel Fernández Alamilla
por qué la edad al cuadrado podría ayudar al modelo:
Podría haber una relación cuadrática entre la edad y la variable de respuesta. Por ejemplo, si se trata de un conjunto de datos de seguros, los costos podrían aumentar a un ritmo acelerado a medida que las personas envejecen debido a un mayor riesgo de problemas de salud
Jeinfferson Bernal G
Interesante conclusion!
Bueno, como estoy obsesionado con las redes neuronales, a este proyecto le metí tensorflow usando todas las columnas, sin eliminar ni crear ninguna nueva( además de las que se crearon con get_dummies) y me salió esto:
Nótese que este modelo predice mejor que el primer modelo creado, casi igual que el tercero pero no tan bien como el segundo
