Proyecto Final: Diagnóstico de Cáncer de Seno con Regresión Logística

Clase 16 de 17 • Curso de Regresión Logística con Python y scikit-learn

Resumen

Nombre del curso: Curso de Regresión Logística con Python y scikit-learn
Dean: Sebastián Delmont
Faculty Manager: Ricardo Celis
School Director: Carlos Alarcón
School Owner: Miguel Torres
Profesor: Carlos Alarcón
Dirección: Miguel Torres
Producción OPS: Lizeth Cáceres y Rocío Martínez
Creación audiovisual: César A. Pinilla
Edición de video: Diana Capote
Postproducción de audio: Diana Capote
Diseño gráfico: Eduardo Molea
Coordinación General: Andrés Arizmendy, Daniel Gutierrez, Carol Baquero, Carlos Céspedes, Sura Cedeño y Sara Hernández
Revisión: Axel Yaguana Cruz y Brandon Verdeja

FELIX DAVID CORDOVA GARCIA

student•

Maravilloso curso, hace tiempo que no estudiaba 7 horas seguidas , pero este curso lo valía

Alarcon7a

student•

wow, eres el primero en terminar y certificarte del curso, me alegro que te haya gustado

Eugenio Schiavoni

student•

Tal cual, yo también lo hice todo de una al curso! Este profe es muy bueno explicando estos temas!! Por mas videos de @alarcon7a

Juan Sebastian Torres Lozano

student•

Me encanta y ya me estoy imaginanado todos los proyectos en los que puedo aplicar lo que he aprendido, muchas gracias.

Mario Maycotte

student•

Dejo aquí mis resultados de este proyecto

En 1ra instancia, se carga el dataset que se descargó de Kaggle

df = pd.read_csv('data/cancer_data.csv')
df.head()

En 2da instancia, se procede a checar si hay valores nulos (en este caso no los hay, de acuerdo con la información de Kaggle, pero aún así se checa)

df.isnull().sum()

En 3ra instancia, se hace una copia del dataset original y se hace un drop de las columnas 'id' y 'Unnamed: 52' y se obtienen las columnas de las features que quedaron

df_copy = df.copy()
df_copy.drop(['id', 'Unnamed: 32'], axis = 1, inplace=True)
df_copy.columns

En 4ta instancia, debido a que se trata de predecir si el tumor es benigno o maligno, las clases están divididas entre 'M' (maligno), 'B' (benigno), por lo que se reemplaza los valores de 'M' y 'B' por 1 y 0 respectivamente

df_copy['diagnosis'].replace(to_replace='M', value = 1, inplace=True)
df_copy['diagnosis'].replace(to_replace='B', value = 0, inplace=True)

En 5ta instancia, se realiza una matriz de correlaciones para observar si existe multicolinealidad entre las variables explicativas

fig = plt.figure(figsize=(18,18))
matrix_corr = df_copy.corr()
sns.heatmap(matrix_corr, annot=True, cmap='coolwarm')
plt.show()

++Como se pudo observar anteriormente, existe multicolinealidad entre variables explicativas, lo que representaría un overfitting dentro del próximo modelo a utilizar (se observa claramente que las variables con multicolinealidad tienen bastante relación debido a su fundamento matemático [ejemplo: la media del area y la media del radio]) por lo que se procede a eliminar dichas features.++

En 6ta instancia 1ra parte, se escalarán los datos para luego comprobar la multicolinealidad entre las variables con vif (variance inflation factor)

st_x = StandardScaler()
X = df_copy.drop(['diagnosis'], axis = 1)
y = df_copy['diagnosis']

df_scaled = st_x.fit_transform(X)
cols = [cname for cname in X.columns if X[cname].dtype in ['int64', 'float64']]
df_scaled = pd.DataFrame(df_scaled, columns=cols)
df_scaled.head()

En 6ta instancia 2da parte, se calculará el factor de varianza inflada para ver la multicolinealidad entre las variables

X_data = pd.DataFrame()
X_data['Feature'] = X.columns

X_data['VIF']= [variance_inflation_factor(df_scaled.values, i) for i in range(len(X.columns))]
print(X_data)
print(list(X_data['Feature']))

++Como se puede ver anteriormente hay ciertas variables con un factor de varianza inflada muy grande lo que supone, primeramente, un overfitting del modelo que se puede utilizar y, segundo, sensibilidad que puede llegar a tener el modelo, por tanto se optará por eliminar las variables que influyen al factor de varianza inflada++ Cabe aclarar que el valor de VIF debe de estar entre 1 y 5, no ahondaré en el tema pero pueden leer más aquí En 7ma instancia, se hace drop de las variables con un VIF mayor a 5 y se recalcula el VIF para ver cómo fueron afectadas las demás variables (esto depende mucho del dataset y las variables implicadas, este es un ejemplo ilustrativo)

X_vif = df_scaled.drop(['radius_mean','texture_mean','fractal_dimension_mean','texture_worst','compactness_worst','compactness_mean','concavity_mean','concave points_mean','radius_se', 'texture_se', 'perimeter_se', 'area_se', 'smoothness_se', 'compactness_se', 'concavity_se', 'concave points_se', 'symmetry_se', 'fractal_dimension_se','concave points_worst'], axis = 1)

X_data = pd.DataFrame()
X_data['Feature'] = X_vif.columns

X_data['VIF']= [variance_inflation_factor(X_vif.values, i) for i in range(len(X_vif.columns))]
print(X_data)

++Como se puede ver anteriormente, se eliminaron las variables que tenían un alto valor de factor de varianza inflada. Ya conociendo esto, se procederá a hacer el split entre entrenamiento y test del dataframe con las features que quedaron++ En 8va instancia, se define la función 'logistic_model' con parámetros de entrada 'C_', 'solver_', 'multiclass_', como se vio en clase, después se procede a hacer el split entre entrenamiento y test, y finalmente se entrena con diferentes solvers y multiclass (en este caso sólo es una regresión logística binomial entonces no es necesario la multiclase pero aún así se entrena por motivos ilustrativos)

def logistic_model(C_,solver_,multiclass_):    
    logistic_regression_model = LogisticRegression(random_state=42, solver=solver_, multi_class=multiclass_, n_jobs=-1, C=C_)
    return logistic_regression_model

X_train, X_test, y_train, y_test = train_test_split(X_vif,y, test_size=0.33, random_state=42) #Para terminos de reproducibilidad se eligirá un random state de 42

multiclass = ['ovr', 'multinomial']
solver_list = ['liblinear', 'newton-cg', 'lbfgs', 'sag', 'saga']
scores = []
params = []

for i in multiclass:
    for j in solver_list:
        try:
            model = logistic_model(1,j,i)
            model.fit(X_train, y_train)
            predictions = model.predict(X_test)
            params.append(i + ' ' + j)
            accuracy = accuracy_score(y_test, predictions)
            scores.append(accuracy)
        except:
            None

for i in range(len(scores)):
    print(f'El solver {params[i]} tuvo un score de {scores[i]}')

++Como se puede observar anteriormente, los resultados para cada solver son similares, por tanto se puede elegir cualquiera de los solvers++ El aporte queda muy largo entonces seguiré en los comentarios de este mismo aporte

Mario Maycotte

student•

En 9na instancia se procede a plotear los resultados de los scores

fig = plt.figure(figsize=(10,10))
sns.barplot(x = params, y=scores).set_title('Cancer Accuracy')
plt.xticks(rotation = 90)
plt.show()

En 10ma instancia, dado que los solvers obtuvieron resultados similares, se elige el solver 'liblinear' con 'ovr' y se hace la matriz de confusión de acuerdo con las prediciones y a los datos reales (recordando 'maligno' = 1, 'benigno' = 0)

model = logistic_model(1,'liblinear','ovr')
model.fit(X_train, y_train)
predictions = model.predict(X_test)
print(confusion_matrix(y_test,predictions))
print(accuracy_score(y_test,predictions))

cm = confusion_matrix(y_test,predictions,labels = model.classes_)
disp = ConfusionMatrixDisplay(confusion_matrix=cm, display_labels=model.classes_)
disp.plot(cmap='gray')
plt.show()

Cabe resaltar que el accuracy score de este modelo con sólo 6 features es de 0.9628. ++Aún así, se procede a entrenar de nuevo el modelo con todas las features para comparar y evaluar el accuracy score++ En 11va instancia, se procede a realizar lo mismo que la 8va instancia pero ahora entrenando al modelo con todas las features

X_train, X_test, y_train, y_test = train_test_split(df_scaled,y, test_size=0.33, random_state=42) #Para terminos de reproducibilidad se eligirá un random state de 42

multiclass = ['ovr', 'multinomial']
solver_list = ['liblinear', 'newton-cg', 'lbfgs', 'sag', 'saga']
scores = []
params = []

for i in multiclass:
    for j in solver_list:
        try:
            model = logistic_model(1,j,i)
            model.fit(X_train, y_train)
            predictions = model.predict(X_test)
            params.append(i + ' ' + j)
            accuracy = accuracy_score(y_test, predictions)
            scores.append(accuracy)
        except:
            None

for i in range(len(scores)):
    print(f'El solver {params[i]} tuvo un score de {scores[i]}')

El accuracy score utilizando todas las features es ligeramente mayor, sin embargo, dada la multicolinealidad del dataset con diferentes features, se debe de considerar el factor de varianza inflado (VIF) para que nuestro modelo no sea sensible dentro de un futuro. Siendo este el caso, se pudo reducir la cantidad de features de 30 a 6 (esto debe de hacerse con mucho cuidado y este es un ejemplo ilustrativo, se debe realizar antes un análisis de varianza y así sacar la significancia 'p-value' de cada una de las variables para poder estar seguros de que estamos quitando features que no tienen una significancia relevante de acuerdo con nuestra hipótesis nula) Por último, lo que queda hacer es modularizar el código para que la gente de la comunidad pueda reproducir los resultados y pueda haber más orden dentro de cada proyecto

P.D. estas son las librerías que utilicé durante el proyecto

Hasta aquí mi aporte, espero haya servido y cualquier duda o sugerencia estamos a la orden!

david jurado

student•

Por qué dejas unas mayores a 5 y eliminas unas menores a 5? no tiene sentido

Jorge Andres Avendano Carabali

student•

TEST reeesultados

Resumen 1. ¿Para qué tipo de tareas funciona el algoritmo de regresión logística? Clasificación 2. ¿Cuál es la función base en la regresión logística? Sigmoid 3. NO es una ventaja de la regresión logística:

Recibe variables categóricas. 4. Una desventaja de la regresión logística es que se degrada su performance ante datasets linealmente no separables. ¿Esto es verdadero o falso? Verdadero 5. ¿Con qué tipo de datasets es preferible usar regresión logística? Binomial 6. El rate de probabilidad de ocurrencia sobre probabilidad de no ocurrencia tipo (0.80 / 0.20 = 4) se denomina:

Odds 7. ¿Cuál es la fórmula de la regresión logística? Untitled design.png 8. ¿Cómo se denomina al proceso para llevar todos los datos de un dataset a una misma escala numérica? Normalización 9. Eliminar valores nulos hace parte del proceso de preparación de datos en regresión logística:

Verdadero 10. ¿Por qué es necesario realizar un análisis exploratorio de datos antes de entrenar un modelo de machine learning? Ayuda a entender el comportamiento de los datos y cómo trabajarlos. 11. Un dataset en cuya variable objetivo es true o false en cuanto a detección de spam en un mail es considerado: Binomial 12. ¿Evaluando el MLE es preferible un resultado menor o mayor? Menor 13. La función de coste evalúa las diferencias en la predicción del modelo y el valor real a predecir. ¿Esto es verdadero o falso? Verdadero 14. Para importar la librería necesaria para la regresión logística desde sklearn se debe usar la siguiente línea de código:

from sklearn.linear_model import LogisticRegression

¿Qué se busca evitar al aplicar regularizers en regresión logística? Overfitting 16. ¿Cuál es la técnica de regularización basada en el valor absoluto de los pesos? L1 17. ¿Cómo se usa en scikit-learn la técnica de regresión logística multiclase que separa una clase y la evalúa contra el resto para clasificar?

ovr (One vs Rest) 18. Todos los solvers en logistic regression funcionan con todas las combinaciones de regulatizers y tipo de regresion multiple: Falso 19. Para realizar la predicción de la clase puedo utilizar el método: predict 20. ¿Qué retorna el método predict_proba?

La probabilidad para cada clase. Ver menos

Alfonso Andres Zapata Guzman

student•

Resuelto el proyecto con LogisticRegression() sin el seteo de ningun parametro:

Resuelto el proyecto usando LogisticRegression() en GridSearchCV():

Igual presento la prueba

Alfonso Andres Zapata Guzman

student•

Oscar Eduardo Moreno Preciado

student•

Muchas gracias profe, todo estuvo muy interesante

Gabriel Villanueva Vega

student•

Muchas gracias profesor Carlos, estos cursos de Machine learning son lo mejor!

david jurado

student•

Siempre se llega hasta medir el rendimiento del modelo, pero como se ponen a prueba los modelos?

Daiana Davidson

student•

Cargando más datos, en la vida real lo automatizas para sigan entrando datos de la empresa

Mauricio Escobar

student•

qué tal, agrego mi proyecto:

https://github.com/mauricios11/breast_disease_prediction_deploy

hice un análisis exploratorio, entrené el modelo y luego hice el despliegue en streamlit.

El input que debería de dar el usuario se centra en los "atributos base" y no en todas las columnas. Obtenidas las mediciones del usuario (manualmente o subiéndolos con un archivo) se hacen los respectivos "mean, se, worst" para cada atributo base.

Finalmente se hace la predicción