Introducción al PCA

Introducción al algoritmo PCA (Principal Component Analysis)

¿Por qué usaríamos este algoritmo?

• Porque en machine learning es normal encontrarnos con problemas donde tengamos una enorme cantidad de features en donde hay relaciones complejas entre ellos y con la variable que queremos predecir.

Pistas donde se puede utilizar un algoritmo PCA:

• Nuestro dataset tiene un número alto de features y no todos sean significativos.
• Hay una alta correlación entre los features.
• Cuando hay overfiting.
• Cuando implica un alto coste computacional.

¿En que consiste el algoritmo PCA?

Básicamente en reducir la complejidad del problema:

1.- Seleccionando solamente las variables relevantes.
2.- Combinándolas en nuevas variables que mantengan la información más importante (varianza de los features).

¿Cuales son pasos para llevar a cabo el algoritmo PCA?

1.- Calculamos la matriz de covarianza para expresar las relaciones entre nuestro features.
2.- Hallamos los vectores propios y valores propios de esta matriz, para medir la fuerza y variabilidad de estas relaciones.
3.- Ordenamos y escogemos los vectores propios con mayor variabilidad, esto es, aportan más información.

¿Qué hacer si tenemos una PC de bajos recursos?

• Si tenemos un dataset demasiado exigente, podemos usar una variación como IPCA.
• Si nuestros datos no tienen una estructura separable linealmente, y encontramos un KERNEL que pueda mapearlos podemos usar KPCA.

🔹 Usar PCA cuando:

• Se tenga un dataset con muchos features.
• Las relaciones entre las variables no sean linealmente separables o se tenga una alta correlación entre ellas.
• El modelo presenta características de overfitting. (El PCA puede ser una posible solución).
• Se tiene un buen modelo con buenos resultados pero su costo computacional es alto.

👉 El PCA principalmente selecciona variables relevantes y las combina en una nueva feature, que mantiene la información más importante y útil para el modelo. Ejemplo:

📌 Nota:
En el Curso de Álgebra Lineal Aplicada para Machine Learning se explican y se aplican muy bien estos conceptos.

Después de terminar el curso vuelvo a esta clase en respuesta a un proyecto real de trabajo en el cual tengo demasiados features en mi data frame y el modelo que hice no predice correctamente los objetivos.

Definitivamente era esto lo que me faltaba, que curso tan genial! 📝😃

Esto es lo que no se hablo en el curso de Algebra Lineal

Si su computador no tiene mucho poder de procesamiento, pueden usar Google Colab y Deepnote. Son jupiter notebooks pero desde el navegador lo ejecutamos

Nunca antes en mi vida me había visto en la necesidad de poner un video a velocidad 0.85x para seguir el razonamiento de un profesor😅 ¡Este curso es increíble!

¡Muchas gracias por tanto, Platzi!

Ahora entiendo por qué las columnas (features) procesadas por PCA tienen valores diferentes al de las columnas originales. Una duda que traía arrastrando.

PCA
Su objetivo principal es transformar un conjunto de datos de alta dimensionalidad en un espacio de menor dimensionalidad, mientras se retiene la mayor cantidad posible de información relevante. PCA es una herramienta poderosa para simplificar la complejidad de los datos y mejorar la eficiencia y precisión de los modelos.

Como Funciona PCA:

El PCA busca encontrar las direcciones (vectores) en las que los datos tienen la mayor varianza. Estas direcciones se llaman “componentes principales”. El primer componente principal es la dirección en la que los datos tienen la mayor variación, el segundo componente principal es la dirección ortogonal al primero y en la que los datos tienen la siguiente mayor variación, y así sucesivamente.

les recomiendo este video para entender al matematica detras de PCA

Este video me sirvió bastante para entender el PCA:
Análisis de componentes principales (PCA)

Reducción de la dimensionalidad de variables en ML

PCA: Un problema que tiene features X y Y dado por una función no lineal f(X,Y) se simplifica proyectando X y Y en una función que contenga la información de ambos.
Ejemplo: recta donde se proyecta la coordenada X y coordenada Y, manteniéndose la varianza.

Este video esta en ingles pero explica el PCA de una manera más profunda y a detalle.
https://www.youtube.com/watch?v=fkf4IBRSeEc&list=PLMrJAkhIeNNRpsRhXTMt8uJdIGz9-X_1-&index=22&ab_channel=SteveBrunton

hay muy buen contenido aca https://www.youtube.com/channel/UCG4H4Qf-ZU9Ycr_PQ4egqDQ

Para entender el algoritmo de PCA:
https://www.aprendemachinelearning.com/comprende-principal-component-analysis/

PCA
Es una técnica estadística no supervisada que se utiliza para examinar las interrelaciones entre un conjunto de variables. También se conoce como análisis factorial general donde la regresión determina una línea de mejor ajuste.