Ejecutando: aplicando un modelo no supervisado de machine learning

Hola,
Al igual que el modelo supervisado, podrás notar que la potencia de este modelo textual podría mejorar.

Como hemos mencionado, te muestro aquí una primera iteración como exploramos los modelos supervisados y no supervisados para encontrar valor en nuestro conjunto de datos. Sin embargo, para llegar a modelos de utilidad tendríamos que refinar nuestro proceso.

En este caso, expandir la cantidad de ejemplos de datos y refinar la limpieza de los textos para llegar a una mejor separación de las categorías buscadas, sería la alternativa.

No tengas miedo de probar cosas, y como les muestro aquí, en el mundo real el primer esfuerzo casi siempre va a tener retos. Debemos de continuar y obtener valor, no rendirnos ¡Allá afuera no todos los datasets son como el del Titanic!

Realice un modelo KMeans.

Primero elegí las variables que a mi criterio iba a desarrollar las cuales fueron, Contrato, Importe y Factura

# agrupamos los valores
compras_df_c_grupo = compras_df_c.groupby('BENEFICIARIO').agg({'CONTRATO': lambda x: x.nunique() , 'IMPORTE': 'sum',
                                                               'FACTURA': lambda x: x.nunique()})
compras_df_cluster = compras_df_c_grupo.reset_index()
compras_df_cluster

Luego elimine la variable de beneficiario para normalizar los valores

compras_df_c_grupo_f = compras_df_c_grupo.reset_index().drop(['BENEFICIARIO'], axis = 1)

normalizado_compras_df = (compras_df_c_grupo_f- compras_df_c_grupo_f.min())/(compras_df_c_grupo_f.max()-compras_df_c_grupo_f.min())
normalizado_compras_df

Con la técnica del cono de Jumdu, este me ilustra que debo tomar 3 cluster

wcss = []

for i in range(1, 11):
    kmeans = KMeans(n_clusters=i, max_iter= 300)
    kmeans.fit(normalizado_compras_df)
    wcss.append(kmeans.inertia_)

plt.plot(range(1,11), wcss)
plt.title('codo de jambu')
plt.xlabel('Numero de cluster')
plt.ylabel('WCSS') # Indica la candtida de similitud de los individuos
plt.show()

Aplico el modelo Kamens

clustering = KMeans(n_clusters = 3, max_iter= 300)
clustering.fit(normalizado_compras_df) # aplicamos el metodo
# Agregamos la clasificacion al archivo orginal
compras_df_cluster['KMeans_Cluster'] = clustering.labels_
compras_df_cluster['KMeans_Cluster'].value_counts()

Aplico el análisis de componentes

# Visualizando los cluster que se formaron

# aplicaremos el analisis de componentes principales para darnos una idea de como se formanon los cluster

from sklearn.decomposition import PCA

pca = PCA(n_components=2)
pca_compras = pca.fit_transform(normalizado_compras_df)
pca_compras_df = pd.DataFrame(data = pca_compras, columns = ['componente_1', 'componente_2'])
pca_nombres_beneficia= pd.concat([pca_compras_df, compras_df_cluster['KMeans_Cluster']], axis = 1)

pca_nombres_beneficia

Graficando obtenemos

Bueno, supongo que retomaré este curso más adelante. No tengo ni idea que está haciendo el profesor. Muchas librerías nuevas, con métodos que no conozco y no se usar.

Vaya esta clase si estuvo buena la pase volando jajaja, lenguaje no supervisado es necesario practicarlo mas.

libreria gensim y stopwords muy interesantes
y modelo ldaMulticore

Una limpiecita al texto no estaria nunca de mas.

# Load the regular expression library
import re

colums_text_analysis = ['Title', 'Desc']

for column in colums_text_analysis:
    # Remove punctuation
    df_data[f'{column}_Processed'] = df_data[column].apply(str).map(lambda x: re.sub('[,\.!?]', '', x))
    # Convert the titles to lowercase
    df_data[f'{column}_Processed'] = df_data['Desc_Processed'].map(lambda x: x.lower())
    # Print out the first rows of papers