Bueno gente, se estudió mucho para llegar acá, se busco mucha información en youtube, otras fuentes, se experimentó con las prácticas, ahora aprovecho para meter memes de terra planismo
Pasen memes para la banda, nos lo merecemos por llegar hasta acá
Cuando se tiene muchas variables, un analisis de pares de variables puede ser confuso por lo que tenemos que recurrir a tecnicas que nos ayudan a entender la variacion de todos los datos de manera simple: Reduciendo las dimensiones para obtener un unico espacio (Pasar de 10 variables a solo 2). Algunas de estas tecnicas son:
processed_penguins_df = processed_penguins_df.assign(
is_island_numeric=lambda df: df.island.replace(
["Torgersen", "Biscoe", "Dream"], (0, 1, 2)
)
)
processed_penguins_df = processed_penguins_df.assign(
is_species_numeric=lambda df: df.species.replace(
["Adelie", "Gentoo", "Chinstrap"], (0, 1, 2)
)
)
import plotly.express as px
from sklearn.decomposition import PCA
X = processed_penguins_df[['bill_length_mm', 'bill_depth_mm',
'flipper_length_mm', 'body_mass_g', 'year', 'numeric_sex',
'is_island_numeric', 'is_species_numeric']]
pca = PCA(n_components=3)
components = pca.fit_transform(X)
total_var = pca.explained_variance_ratio_.sum() * 100
fig = px.scatter_3d(
components, x=0, y=1, z=2, color=processed_penguins_df['species'],
title=f'Total Explained Variance: {total_var:.2f}%',
labels={'0': 'PC 1', '1': 'PC 2', '2': 'PC 3'}
)
fig.show()
Lo que dijo Jesús relacionado al cáncer me hizo buscar información al respecto y encontré esta charla. Espero que pueda ayudar a más de uno de ustedes: https://www.youtube.com/watch?v=jYwxbXAiIaE&ab_channel=TEDxTalks
Análisis de Componentes Principales (PCA)
TSNE (T-distributed Stochastic Neighbor Embedding)
UMAP: Uniform Manifold Approximation and Projectino for Dimension Reduction
Representar muchas dimensiones en menos, por ejemplo 5 a 2.
Se pueden comparar los algoritmos con los datasets que son utilizados principalmente para ML.
Comparación: algoritmo de reducción de dimensión vs. conjunto de datos.
Existen varios algoritmos que ayudan a reducir las dimensiones del dataset.
Además de t-SNE y PCA, existen varios algoritmos populares para la reducción de dimensionalidad en el campo de la ciencia de datos. Algunos de ellos son:
Estos son solo algunos ejemplos de algoritmos de reducción de dimensionalidad utilizados en ciencia de datos. Cada algoritmo tiene sus propias suposiciones y enfoques, y la elección del algoritmo depende del tipo de datos, el objetivo de reducción de dimensionalidad y las características específicas del problema.
UMAP
from sklearn.decomposition import PCA
import seaborn as sns
# Cargamos el conjunto de datos de pingüinos
penguins = sns.load_dataset("penguins")
# Eliminamos las filas con valores faltantes
penguins = penguins.dropna()
# Creamos un objeto PCA y ajustamos los datos
pca = PCA(n_components=2)
pca.fit(penguins.drop(columns=['species']))
# Transformamos los datos a los componentes principales
transformed_data = pca.transform(penguins.drop(columns=['species']))
# Creamos un gráfico con los datos transformados
sns.scatterplot(x=transformed_data[:,0], y=transformed_data[:,1], hue=penguins['species'])
Esta clase como todo el curso me serán de mucha utilidad, estaba esperando una actualización de este curso 🚀🔥
Cuando hay cientos o miles de variables, un pair plot deja de ser práctico y aparecen técnicas como PCA, t-SNE y UMAP, que reducen los datos a dos o tres dimensiones. La clase cita el caso de genes que reconstruyen el mapa de Europa. Para el trabajo con encuestas de hogares o censos, que traen cientos de preguntas, la idea es útil como primer vistazo: ver si hay grupos antes de decidir qué analizar. Aunque el detalle matemático queda fuera del curso, conviene recordarlo como herramienta de exploración, no de conclusión. Un grupo visible es una hipótesis, no un hallazgo.
Carlos Mazzaroli
Bueno gente, se estudió mucho para llegar acá, se busco mucha información en youtube, otras fuentes, se experimentó con las prácticas, ahora aprovecho para meter memes de terra planismo
Pasen memes para la banda, nos lo merecemos por llegar hasta acá
Jeinfferson Bernal G
Que hacer cuando tengo muchas variables?
Cuando se tiene muchas variables, un analisis de pares de variables puede ser confuso por lo que tenemos que recurrir a tecnicas que nos ayudan a entender la variacion de todos los datos de manera simple: Reduciendo las dimensiones para obtener un unico espacio (Pasar de 10 variables a solo 2). Algunas de estas tecnicas son:
Ruddy Ramos
Muchas gracias por el aporte.
Alfonso Andres Zapata Guzman
Alfonso Andres Zapata Guzman
Alfonso Andres Zapata Guzman
Antonio Demarco Bonino
Lo que dijo Jesús relacionado al cáncer me hizo buscar información al respecto y encontré esta charla. Espero que pueda ayudar a más de uno de ustedes: https://www.youtube.com/watch?v=jYwxbXAiIaE&ab_channel=TEDxTalks
Andres Sanchez
26. ¿Qué hacer cuando tengo muchas variables?
Análisis de Componentes Principales (PCA)
TSNE (T-distributed Stochastic Neighbor Embedding)
UMAP: Uniform Manifold Approximation and Projectino for Dimension Reduction
Representar muchas dimensiones en menos, por ejemplo 5 a 2.
Se pueden comparar los algoritmos con los datasets que son utilizados principalmente para ML.
Comparación: algoritmo de reducción de dimensión vs. conjunto de datos.
Existen varios algoritmos que ayudan a reducir las dimensiones del dataset.
Además de t-SNE y PCA, existen varios algoritmos populares para la reducción de dimensionalidad en el campo de la ciencia de datos. Algunos de ellos son:
Estos son solo algunos ejemplos de algoritmos de reducción de dimensionalidad utilizados en ciencia de datos. Cada algoritmo tiene sus propias suposiciones y enfoques, y la elección del algoritmo depende del tipo de datos, el objetivo de reducción de dimensionalidad y las características específicas del problema.
John Alfredo Miranda Alva
UMAP
Diego Jurado
UMAP?
Mauricio Escobar
¡UMAP!
Jhon Freddy Tavera Blandon
from sklearn.decomposition import PCA import seaborn as sns # Cargamos el conjunto de datos de pingüinos penguins = sns.load_dataset("penguins") # Eliminamos las filas con valores faltantes penguins = penguins.dropna() # Creamos un objeto PCA y ajustamos los datos pca = PCA(n_components=2) pca.fit(penguins.drop(columns=['species'])) # Transformamos los datos a los componentes principales transformed_data = pca.transform(penguins.drop(columns=['species'])) # Creamos un gráfico con los datos transformados sns.scatterplot(x=transformed_data[:,0], y=transformed_data[:,1], hue=penguins['species'])
Luis Ernesto Domínguez Velásquez
Pablo Alejandro Figueroa
Genial..!!! Gracias...!
Juan R. Vergara M.
Esta clase como todo el curso me serán de mucha utilidad, estaba esperando una actualización de este curso 🚀🔥
Jhon Alexander Mosquera Vanegas
Cuando hay cientos o miles de variables, un pair plot deja de ser práctico y aparecen técnicas como PCA, t-SNE y UMAP, que reducen los datos a dos o tres dimensiones. La clase cita el caso de genes que reconstruyen el mapa de Europa. Para el trabajo con encuestas de hogares o censos, que traen cientos de preguntas, la idea es útil como primer vistazo: ver si hay grupos antes de decidir qué analizar. Aunque el detalle matemático queda fuera del curso, conviene recordarlo como herramienta de exploración, no de conclusión. Un grupo visible es una hipótesis, no un hallazgo.
Juan Pablo Marin Vanegas
Mi aporte para reducirla cantidad de variables es a través de un Análisis Factorial Exploratorio (AFE) y un Análisis Factorial Confirmatorio (AFC)
EDWING ALFONSO ARENAS RUEDA
# Analisis de datos mediante PCA from sklearn.decomposition import PCAfrom sklearn.preprocessing import StandardScaler # Copiar el dataset para evitar modificaciones directasdf_analisis_pca = df_procesado_3.copy() # Filtrar solo las columnas numéricas para PCAdf_numerico = df_analisis_pca.select_dtypes(include=[np.number]).drop(columns=['species'], errors='ignore') # Verificar si hay valores nulos y eliminarlos o imputarlosdf_numerico = df_numerico.dropna() # Escalar los datos (PCA es sensible a la escala)# ajusta todas las variables a la misma escala, permitiendo que cada una contribuya de manera justa.scaler = StandardScaler()df_scaled = scaler.fit_transform(df_numerico) # Aplicar PCA con 2 componentes principalespca = PCA(n_components=2)transformed_data = pca.fit_transform(df_scaled) # Convertir en DataFramedf_pca = pd.DataFrame(transformed_data, columns=['PC1', 'PC2'])df_pca['species'] = df_analisis_pca['species'].iloc[df_numerico.index] # Restaurar etiquetas de especie
# Graficarplt.figure(figsize=(8, 6))sns.scatterplot(x=df_pca['PC1'], y=df_pca['PC2'], hue=df_pca['species'], palette="magma", alpha=0.7)plt.title('PCA: Componentes Principales')plt.xlabel('Componente Principal 1')plt.ylabel('Componente Principal 2')plt.legend(title='Especie')plt.show() # Mostrar la varianza explicada por cada componenteprint("Varianza explicada por cada componente:", pca.explained_variance_ratio_)
Alexander Sencion Cespedes
Ejemplo Práctico
Supongamos que estamos desarrollando un sistema de recomendación de películas. Podríamos utilizar SVD para descomponer la matriz de calificaciones de películas en matrices de menor dimensión que representen las características latentes de usuarios y películas. Luego, estas representaciones latentes pueden ser utilizadas para predecir las calificaciones y recomendar películas que el usuario aún no ha visto.
Diego Cesar Lerma Torres
Otra técnica para reducción de dimensionalidad son los autoencoders, que me emocionan mucho porque son IA. Les dejo un apunte sobre ellos:
Concepto: Un autoencoder es una red neuronal diseñada para aprender una representación comprimida (encoding) de los datos, para luego reconstruirlos (decoding). La capa intermedia representa los datos en una dimensión reducida.
Aplicación: Ampliamente usado en aprendizaje profundo para reducción de dimensionalidad, compresión de datos, y generación de datos.
Robert Yesid Barrios Acendra
No conozco otra técnica fuera del PCA, me toca usarla para mi tesis de maestría, 1100 columnas de espectroscopía infrarroja (NIR). Lo único es que después de hacer el PCA y tomar esas X para predecir cualquiera de las Y de mi data, no está prediciendo bien, y se supone que debería por el artículo en el que me baso.
Elkin Rodriguez
¡Nunca pares de aprender! Vamos por todo
Ruben Gavilanes
Modelos de reduccion de dimesiones
Carlos Andrés Pinilla Castillo
Revisar cada uno de los metodos de reduccion de dimensiones
processed_penguins_df = processed_penguins_df.assign( is_island_numeric=lambda df: df.island.replace( ["Torgersen", "Biscoe", "Dream"], (0, 1, 2) ) ) processed_penguins_df = processed_penguins_df.assign( is_species_numeric=lambda df: df.species.replace( ["Adelie", "Gentoo", "Chinstrap"], (0, 1, 2) ) )
import plotly.express as px from sklearn.decomposition import PCA X = processed_penguins_df[['bill_length_mm', 'bill_depth_mm', 'flipper_length_mm', 'body_mass_g', 'year', 'numeric_sex', 'is_island_numeric', 'is_species_numeric']] pca = PCA(n_components=3) components = pca.fit_transform(X) total_var = pca.explained_variance_ratio_.sum() * 100 fig = px.scatter_3d( components, x=0, y=1, z=2, color=processed_penguins_df['species'], title=f'Total Explained Variance: {total_var:.2f}%', labels={'0': 'PC 1', '1': 'PC 2', '2': 'PC 3'} ) fig.show()
from sklearn.manifold import TSNE import plotly.express as px features = processed_penguins_df[['bill_length_mm', 'bill_depth_mm', 'flipper_length_mm', 'body_mass_g', 'year', 'numeric_sex', 'is_island_numeric', 'is_species_numeric']] tsne = TSNE(n_components=3, random_state=0) projections = tsne.fit_transform(features, ) fig = px.scatter_3d( projections, x=0, y=1, z=2, color=processed_penguins_df.species, labels={'color': 'species'} ) fig.update_traces(marker_size=8) fig.show()
from umap import UMAP umap_2d = UMAP(n_components=2, init='random', random_state=0) umap_3d = UMAP(n_components=3, init='random', random_state=0) proj_2d = umap_2d.fit_transform(features) proj_3d = umap_3d.fit_transform(features) fig_2d = px.scatter( proj_2d, x=0, y=1, color=processed_penguins_df.species, labels={'color': 'species'} ) fig_3d = px.scatter_3d( proj_3d, x=0, y=1, z=2, color=processed_penguins_df.species, labels={'color': 'species'} ) fig_3d.update_traces(marker_size=5) fig_2d.show() fig_3d.show()```