Evaluando resultados de DBSCAN

El número de clusters es 5 (incluyendo el ruido) y el silhouette score es 0.7859. 📊

Nunca pares de aprender💚

Este Dataset se crea con un random state de 42 y esta muy bien separado y limpio, por eso el score tan alto.

from sklearn.metrics import silhouette_samples, silhouette_score
import matplotlib.cm as cm


# Create a subplot with 1 row and 2 columns
fig, (ax1, ax2) = plt.subplots(1, 2)
fig.set_size_inches(18, 7)

# The 1st subplot is the silhouette plot
# The silhouette coefficient can range from -1, 1 but in this example all
# lie within [-0.1, 1]
ax1.set_xlim([-0.1, 1])

# Initialize the clusterer with n_clusters value and a random generator
# seed of 10 for reproducibility.
clusterer = DBSCAN(eps=0.8, min_samples=4)
cluster_labels = clusterer.fit_predict(X)
n_clusters = len(np.unique(cluster_labels))

# The (n_clusters+1)*10 is for inserting blank space between silhouette
# plots of individual clusters, to demarcate them clearly.
ax1.set_ylim([0, len(X) + (n_clusters + 1) * 10])



# The silhouette_score gives the average value for all the samples.
# This gives a perspective into the density and separation of the formed
# clusters
silhouette_avg = silhouette_score(X, cluster_labels)
print(
 "For n_clusters =",
    n_clusters,
    "The average silhouette_score is :",
    silhouette_avg,
    )

 # Compute the silhouette scores for each sample
sample_silhouette_values = silhouette_samples(X, cluster_labels)

y_lower = 10
for i in range(n_clusters):
        # Aggregate the silhouette scores for samples belonging to
        # cluster i, and sort them
    ith_cluster_silhouette_values = sample_silhouette_values[cluster_labels == i]

    ith_cluster_silhouette_values.sort()

    size_cluster_i = ith_cluster_silhouette_values.shape[0]
    y_upper = y_lower + size_cluster_i

    color = cm.nipy_spectral(float(i) / n_clusters)
    ax1.fill_betweenx(
        np.arange(y_lower, y_upper),
        0,
        ith_cluster_silhouette_values,
        facecolor=color,
        edgecolor=color,
        alpha=0.7,
        )
    # Label the silhouette plots with their cluster numbers at the middle
    ax1.text(-0.05, y_lower + 0.5 * size_cluster_i, str(i))

    # Compute the new y_lower for next plot
    y_lower = y_upper + 10  # 10 for the 0 samples

ax1.set_title("The silhouette plot for the various clusters.")
ax1.set_xlabel("The silhouette coefficient values")
ax1.set_ylabel("Cluster label")

# The vertical line for average silhouette score of all the values
ax1.axvline(x=silhouette_avg, color="red", linestyle="--")
ax1.set_yticks([])  # Clear the yaxis labels / ticks
ax1.set_xticks([-0.1, 0, 0.2, 0.4, 0.6, 0.8, 1])

# 2nd Plot showing the actual clusters formed
colors = cm.nipy_spectral(cluster_labels.astype(float) / n_clusters)
ax2.scatter(
    X[:, 0], X[:, 1], marker=".", s=30, lw=0, alpha=0.7, c=colors, edgecolor="k"
)
    


plt.show()

Creo que todo bien, sin embargo en el problema de los datos hechos con make_moons, refleja algo que faltó mencionar y es que ciertas combinaciones de (eps,min_samples) hacen que se rompa todo el DBSCAN. Voy a a hacer un tutorial adicional para trabajar en estos temas, por si a alguien le puede aportar

Quedo un error en el codigo, que no nos permite visualizar la silhouette de los outliers y es el siguiente:

ith_cluster_silhouette_values = sample_silhouette_values[cluster_labels == i]

Recordemos que nuestro cluster_labels tiene como parametros:

[-1  0  1  2]

# verificamos con:
print(np.unique(cluster_labels))

Siendo -1 el de los outliers, pero al hacer:

n_clusters = len(np.unique(cluster_labels))

# esto nos genera como salida de n_clusters=4 ya que hay cuatro valores en la lista y eso genera len()

# pero al hacer 

for i in range(n_clusters)

nos genera un rango con 4 valores= [0,1,2,3]

# y esos son los valores pasados, el 3 generando nada.

verifique con:

 print(np.unique(cluster_labels))

Y solucione con:

ith_cluster_silhouette_values = sample_silhouette_values[cluster_labels == i - 1]