Función para entrenamiento

Curso de Redes Neuronales con PyTorch

Fundamentos de PyTorch

¿Qué necesitas para aprender PyTorch?

¿Por qué usar PyTorch?

Hola, mundo en PyTorch

Creación de Tensores en PyTorch

Debugging de operaciones con tensores

Conversión y operación de tensores con PyTorch

Quiz: Fundamentos de PyTorch

Estructura de modelo de deep learning en PyTorch

Generación y split de datos para entrenamiento de modelo

Estructura de modelo en PyTorch con torch.nn

Entrenamiento, funciones de pérdida y optimizadores

Entrenamiento y visualización de pérdida

Predicción con un modelo de PyTorch entrenado

Quiz: Estructura de modelo de deep learning en PyTorch

Redes neuronales con PyTorch

Datos para clasificación de texto

Procesamiento de datos: tokenización y creación de vocabulario

Procesamiento de datos: preparación del DataLoader()

Creación de modelo de clasificación de texto con PyTorch

Función para entrenamiento

Función para evaluación

Split de datos, pérdida y optimización

Entrenamiento y evaluación de modelo de clasificación de texto

Inferencia utilizando torch.compile(): el presente con PyTorch 2.X

Almacenamiento del modelo con torch.save() y state_dict()

Sube tu modelo de PyTorch a Hugging Face

Carga de modelo de PyTorch con torch.load()

Quiz: Redes neuronales con PyTorch

Cierre del curso

No tienes acceso a esta clase

¡Continúa aprendiendo! Únete y comienza a potenciar tu carrera

Si ya tienes una cuenta,

Recursos

Aportes 2

Preguntas 0

Ordenar por:

¿Quieres ver más aportes, preguntas y respuestas de la comunidad?

Sebastián Franco Gomez

hace un año

¿Qué es el clip_grad_norm

El clipping es una estrategia que se usa en entrenamiento para acortar parámetros que vayan creciendo y, en caso de no ser detenidos, crear un problema denominado “exploding gradients” que no es más que una red que nunca convergerá porque sus parámetros son demasiado grandes.

Tipos de clipping

Popularmente hay 2 tipos de clipping: por norm y por parameter, donde el primero calcula la norma L2 del parámetro, y si esta supera un threshold será reducido mediante una pequeña operación, el segundo caso es igual, donde no se realiza el cálculo de la media sino que se compara directamente el valor de cada parámetro.

La importancia de cuándo se llama

Es importante llamar este clipper en el momento que se han calculado los gradientes pero ANTES de actualizarlos con el optimizador, de esta manera aseguraremos que el modelo no sea propenso a sufrir de una explosión de gradientes.

¿Esto mejora el performance?

Directamente, no. Lo que si hace es mejorar la estabilidad del modelo para que los parámetros serán homogéneos, que al final se traducirá en mejor performance a la hora de entrenar el modelo.

Octavio De Paula

hace 6 meses

Si se tienen conocimientos bases se disfruta mucho, aunque sin dudas haga falta un poco mas explicacion profunda en los conceptos nuevos.