Entrenamiento Efectivo de Redes Neuronales: Arquitectura y Tasa de Aprendizaje
Contenido del curso
Henry Mendiburu Díaz
kablima 🔴
Patricio Sánchez Fernández
Ricardo Silva
Patricio Sánchez Fernández
Jhon Freddy Tavera Blandon
Patricio Sánchez Fernández
Jovanny Delgado
Alejandro Sebastian Delgado Farias
Axel Yaguana
Team Platzi
Mario Alexander Vargas Celis
Rodmy Suarez
Isaac Bryan Ascanoa Roncall
El siguiente artículo brinda información para construir una red neuronal utilizando Python
Roto
Muchas gracias por compartir....
De las arquitecturas mas recientes es la arquitectura transformer, desarrollada para traducciones de texto principalmente, utiliza mecanismos de atencion para sopesar los limites de memoria que tienen las RNNs. Tambien estan empezando a ser usada en imágenes.
Recomiendo este articulo de medium
https://medium.com/inside-machine-learning/what-is-a-transformer-d07dd1fbec04
y el paper original
https://proceedings.neurips.cc/paper/2017/file/3f5ee243547dee91fbd053c1c4a845aa-Paper.pdf
Gracias por compartir...!
Entrenamiento de las redes neuronales:
Inicialización de pesos:
Propagación hacia adelante:
Cálculo de la función de pérdida:
Retropropagación:
Actualización de parámetros:
Repetición del proceso:
Gracias por el apunte...!
El valor óptimo de la tasa de aprendizaje (learning rate) en una red neuronal depende del problema específico, el conjunto de datos y la arquitectura de la red. No hay un valor único y universalmente óptimo para la tasa de aprendizaje, ya que puede variar en diferentes situaciones.
Una tasa de aprendizaje demasiado baja puede hacer que el entrenamiento sea lento y puede llevar mucho tiempo llegar a una solución óptima. Por otro lado, una tasa de aprendizaje demasiado alta puede provocar que el entrenamiento sea inestable, haciendo que el modelo no converja o salte de un mínimo a otro.
En la práctica, encontrar la tasa de aprendizaje óptima a menudo implica un proceso de prueba y error. Algunas estrategias comunes para encontrar una tasa de aprendizaje adecuada incluyen:
Grid search: Probar diferentes valores predefinidos de la tasa de aprendizaje en un rango amplio y evaluar su rendimiento en términos de precisión o función de costo en un conjunto de validación. Luego, seleccionar el valor que brinde el mejor rendimiento.
Descenso de aprendizaje adaptativo: Utilizar algoritmos que ajustan automáticamente la tasa de aprendizaje durante el entrenamiento. Algunos ejemplos populares son el descenso de aprendizaje con momento (momentum) y el algoritmo Adam, que adaptan la tasa de aprendizaje en función de la información de los gradientes y las actualizaciones anteriores.
Ajuste manual: Iniciar con una tasa de aprendizaje moderada y, si el entrenamiento es inestable o lento, ajustarla gradualmente hacia arriba o hacia abajo según los resultados observados.
Es importante tener en cuenta que el valor óptimo de la tasa de aprendizaje puede variar durante diferentes etapas del entrenamiento. Por ejemplo, es común utilizar una tasa de aprendizaje más alta al principio para un entrenamiento más rápido y luego disminuirla a medida que se acerca a una solución óptima.
En resumen, encontrar la tasa de aprendizaje óptima implica un enfoque experimental y depende del problema y los datos específicos. Se recomienda probar diferentes valores y técnicas para encontrar la mejor configuración para su caso particular.
I do have a question, how are the first weights chosen? is it random?
Hi, Alejandro!
At the very beginning, we can choose random weights. But we need to optimise them with an optimisation algorithm.
Artificial neural networks are trained using a stochastic optimisation algorithm called stochastic gradient descent. The algorithm uses randomness in order to find a good enough set of weights for the specific mapping function from inputs to outputs in your data that is being learned.
¡Perfecto! Vamos a ver cómo lograr un entrenamiento efectivo de redes neuronales centrándonos en dos factores críticos: la arquitectura y la tasa de aprendizaje (learning rate). Ambos son clave para obtener modelos precisos, eficientes y que generalicen bien.
🏗️ 1. Arquitectura de Redes Neuronales
La arquitectura define cómo está construida la red: número de capas, tipo de capas, cuántas neuronas por capa, funciones de activación, etc.
🔹 Componentes comunes:
📌 Buenas prácticas:
# Arquitectura sencilla en PyTorch import torch.nn as nn
modelo = nn.Sequential( nn.Linear(10, 64), # Capa de entrada nn.ReLU(), nn.Linear(64, 32), # Capa oculta nn.ReLU(), nn.Linear(32, 1), # Capa de salida nn.Sigmoid() )
📉 2. Tasa de Aprendizaje (Learning Rate)
La tasa de aprendizaje determina cuánto se ajustan los pesos en cada paso del entrenamiento.
🔢 Valores típicos:
0.1 → muy alto (puede saltarse el mínimo)0.01 → común0.001 o menos → más lento, pero más preciso⚠️ Problemas frecuentes:
ProblemaSíntomaTasa muy altaLa pérdida oscila o nunca disminuyeTasa muy bajaAprendizaje extremadamente lentoTasa variable (ideal)Disminuye al acercarse al óptimo
📌 Soluciones avanzadas:
StepLR, ReduceLROnPlateau, ExponentialLR, etc.import torch.optim as optim
optimizer = optim.Adam(modelo.parameters(), lr=0.01)
# Programador de tasa de aprendizaje scheduler = optim.lr_scheduler.StepLR(optimizer, step_size=10, gamma=0.5)
📊 Comparación visual (conceptual):
Tasa de aprendizaje
Pérdida ▲ │ ╭╮ ← tasa muy alta: oscilación │ ╱╲╱╲ │ ╲__ ← tasa correcta: descenso suave │ ╲ │ ╲__ ← tasa muy baja: lento o estancado └──────────────► Épocas
🧠 Consejos Finales para Entrenamiento Efectivo
✅ Normaliza los datos antes de entrenar. ✅ Usa validación cruzada para evaluar generalización. ✅ Controla el overfitting con Dropout o Early Stopping. ✅ Ajusta la arquitectura y tasa de aprendizaje con experimentación controlada. ✅ Usa gráficos de pérdida y precisión para guiar decisiones.
Impresionante. No pense que las redes neuronales tambien deben ser entrenadas. Es un dato a tener en cuenta al momento de trabajarlo.