Clase 26 de 28 • Curso de Análisis Exploratorio de Datos
Contenido del curso
Carlos Mazzaroli
Jeinfferson Bernal G
Ruddy Ramos
Alfonso Andres Zapata Guzman
Alfonso Andres Zapata Guzman
Alfonso Andres Zapata Guzman
Antonio Demarco Bonino
Andres Sanchez
John Alfredo Miranda Alva
Diego Jurado
Mauricio Escobar
Jhon Freddy Tavera Blandon
Luis Ernesto Domínguez Velásquez
Pablo Alejandro Figueroa
Juan R. Vergara M.
Juan Pablo Marin Vanegas
EDWING ALFONSO ARENAS RUEDA
Alexander Sencion Cespedes
Diego Cesar Lerma Torres
Robert Yesid Barrios Acendra
Elkin Rodriguez
Ruben Gavilanes
Carlos Andrés Pinilla Castillo
Bueno gente, se estudió mucho para llegar acá, se busco mucha información en youtube, otras fuentes, se experimentó con las prácticas, ahora aprovecho para meter memes de terra planismo
Pasen memes para la banda, nos lo merecemos por llegar hasta acá
Que hacer cuando tengo muchas variables?
Cuando se tiene muchas variables, un analisis de pares de variables puede ser confuso por lo que tenemos que recurrir a tecnicas que nos ayudan a entender la variacion de todos los datos de manera simple: Reduciendo las dimensiones para obtener un unico espacio (Pasar de 10 variables a solo 2). Algunas de estas tecnicas son:
Muchas gracias por el aporte.
processed_penguins_df = processed_penguins_df.assign( is_island_numeric=lambda df: df.island.replace( ["Torgersen", "Biscoe", "Dream"], (0, 1, 2) ) ) processed_penguins_df = processed_penguins_df.assign( is_species_numeric=lambda df: df.species.replace( ["Adelie", "Gentoo", "Chinstrap"], (0, 1, 2) ) )
import plotly.express as px from sklearn.decomposition import PCA X = processed_penguins_df[['bill_length_mm', 'bill_depth_mm', 'flipper_length_mm', 'body_mass_g', 'year', 'numeric_sex', 'is_island_numeric', 'is_species_numeric']] pca = PCA(n_components=3) components = pca.fit_transform(X) total_var = pca.explained_variance_ratio_.sum() * 100 fig = px.scatter_3d( components, x=0, y=1, z=2, color=processed_penguins_df['species'], title=f'Total Explained Variance: {total_var:.2f}%', labels={'0': 'PC 1', '1': 'PC 2', '2': 'PC 3'} ) fig.show()
from sklearn.manifold import TSNE import plotly.express as px features = processed_penguins_df[['bill_length_mm', 'bill_depth_mm', 'flipper_length_mm', 'body_mass_g', 'year', 'numeric_sex', 'is_island_numeric', 'is_species_numeric']] tsne = TSNE(n_components=3, random_state=0) projections = tsne.fit_transform(features, ) fig = px.scatter_3d( projections, x=0, y=1, z=2, color=processed_penguins_df.species, labels={'color': 'species'} ) fig.update_traces(marker_size=8) fig.show()
from umap import UMAP umap_2d = UMAP(n_components=2, init='random', random_state=0) umap_3d = UMAP(n_components=3, init='random', random_state=0) proj_2d = umap_2d.fit_transform(features) proj_3d = umap_3d.fit_transform(features) fig_2d = px.scatter( proj_2d, x=0, y=1, color=processed_penguins_df.species, labels={'color': 'species'} ) fig_3d = px.scatter_3d( proj_3d, x=0, y=1, z=2, color=processed_penguins_df.species, labels={'color': 'species'} ) fig_3d.update_traces(marker_size=5) fig_2d.show() fig_3d.show()```
Lo que dijo Jesús relacionado al cáncer me hizo buscar información al respecto y encontré esta charla. Espero que pueda ayudar a más de uno de ustedes: https://www.youtube.com/watch?v=jYwxbXAiIaE&ab_channel=TEDxTalks
26. ¿Qué hacer cuando tengo muchas variables?
Análisis de Componentes Principales (PCA)
TSNE (T-distributed Stochastic Neighbor Embedding)
UMAP: Uniform Manifold Approximation and Projectino for Dimension Reduction
Representar muchas dimensiones en menos, por ejemplo 5 a 2.
Se pueden comparar los algoritmos con los datasets que son utilizados principalmente para ML.
Comparación: algoritmo de reducción de dimensión vs. conjunto de datos.
Existen varios algoritmos que ayudan a reducir las dimensiones del dataset.
Además de t-SNE y PCA, existen varios algoritmos populares para la reducción de dimensionalidad en el campo de la ciencia de datos. Algunos de ellos son:
Estos son solo algunos ejemplos de algoritmos de reducción de dimensionalidad utilizados en ciencia de datos. Cada algoritmo tiene sus propias suposiciones y enfoques, y la elección del algoritmo depende del tipo de datos, el objetivo de reducción de dimensionalidad y las características específicas del problema.
UMAP
UMAP?
¡UMAP!
from sklearn.decomposition import PCA import seaborn as sns # Cargamos el conjunto de datos de pingüinos penguins = sns.load_dataset("penguins") # Eliminamos las filas con valores faltantes penguins = penguins.dropna() # Creamos un objeto PCA y ajustamos los datos pca = PCA(n_components=2) pca.fit(penguins.drop(columns=['species'])) # Transformamos los datos a los componentes principales transformed_data = pca.transform(penguins.drop(columns=['species'])) # Creamos un gráfico con los datos transformados sns.scatterplot(x=transformed_data[:,0], y=transformed_data[:,1], hue=penguins['species'])
Genial..!!! Gracias...!
Esta clase como todo el curso me serán de mucha utilidad, estaba esperando una actualización de este curso 🚀🔥
Mi aporte para reducirla cantidad de variables es a través de un Análisis Factorial Exploratorio (AFE) y un Análisis Factorial Confirmatorio (AFC)
# Analisis de datos mediante PCA from sklearn.decomposition import PCAfrom sklearn.preprocessing import StandardScaler # Copiar el dataset para evitar modificaciones directasdf_analisis_pca = df_procesado_3.copy() # Filtrar solo las columnas numéricas para PCAdf_numerico = df_analisis_pca.select_dtypes(include=[np.number]).drop(columns=['species'], errors='ignore') # Verificar si hay valores nulos y eliminarlos o imputarlosdf_numerico = df_numerico.dropna() # Escalar los datos (PCA es sensible a la escala)# ajusta todas las variables a la misma escala, permitiendo que cada una contribuya de manera justa.scaler = StandardScaler()df_scaled = scaler.fit_transform(df_numerico) # Aplicar PCA con 2 componentes principalespca = PCA(n_components=2)transformed_data = pca.fit_transform(df_scaled) # Convertir en DataFramedf_pca = pd.DataFrame(transformed_data, columns=['PC1', 'PC2'])df_pca['species'] = df_analisis_pca['species'].iloc[df_numerico.index] # Restaurar etiquetas de especie
# Graficarplt.figure(figsize=(8, 6))sns.scatterplot(x=df_pca['PC1'], y=df_pca['PC2'], hue=df_pca['species'], palette="magma", alpha=0.7)plt.title('PCA: Componentes Principales')plt.xlabel('Componente Principal 1')plt.ylabel('Componente Principal 2')plt.legend(title='Especie')plt.show() # Mostrar la varianza explicada por cada componenteprint("Varianza explicada por cada componente:", pca.explained_variance_ratio_)
Ejemplo Práctico
Supongamos que estamos desarrollando un sistema de recomendación de películas. Podríamos utilizar SVD para descomponer la matriz de calificaciones de películas en matrices de menor dimensión que representen las características latentes de usuarios y películas. Luego, estas representaciones latentes pueden ser utilizadas para predecir las calificaciones y recomendar películas que el usuario aún no ha visto.
Otra técnica para reducción de dimensionalidad son los autoencoders, que me emocionan mucho porque son IA. Les dejo un apunte sobre ellos:
Concepto: Un autoencoder es una red neuronal diseñada para aprender una representación comprimida (encoding) de los datos, para luego reconstruirlos (decoding). La capa intermedia representa los datos en una dimensión reducida.
Aplicación: Ampliamente usado en aprendizaje profundo para reducción de dimensionalidad, compresión de datos, y generación de datos.
No conozco otra técnica fuera del PCA, me toca usarla para mi tesis de maestría, 1100 columnas de espectroscopía infrarroja (NIR). Lo único es que después de hacer el PCA y tomar esas X para predecir cualquiera de las Y de mi data, no está prediciendo bien, y se supone que debería por el artículo en el que me baso.
¡Nunca pares de aprender! Vamos por todo
Modelos de reduccion de dimesiones
Revisar cada uno de los metodos de reduccion de dimensiones
