Introducción al transfer learning

Clase 1 de 17 • Curso de Transfer Learning con Hugging Face

Orlando castellanos

student•

estoy muy sorprendido de que sacaran este curso, platzi necesita mas de este contenido si quieren ser congruentes con su propuesta por que a pesar de que hay muy buenos cursos de data no se comparan al evidente favoritismo que platzi tiene por el web developer mas de este contenido por favor

Omar Uriel Espejel Díaz

teacher•

Muchas gracias Orlando! Cualquier retroalimentación no dudes en comentarnos! 🤓

Rodrigo Alles

student•

Introducción al Transfer Learning y Hugging Face

El Transfer Learning (Aprendizaje por Transferencia) es un enfoque en la Inteligencia Artificial (IA) en el que se entrena un modelo para resolver una tarea específica, y luego se utiliza ese modelo pre-entrenado como punto de partida para entrenar otro modelo en una tarea similar. De esta manera, se puede aprovechar el conocimiento previo del modelo y evitar tener que entrenarlo desde cero para cada tarea nueva.

En el campo del Procesamiento del Lenguaje Natural (NLP), Hugging Face es una plataforma líder en el desarrollo y aplicación del Transfer Learning. Ofrece una biblioteca de modelos de lenguaje pre-entrenados, así como herramientas y recursos para entrenar y personalizar modelos pre-entrenados para tareas específicas de NLP.

En esta introducción, exploraremos los conceptos básicos del Transfer Learning y Hugging Face y cómo pueden ser utilizados en aplicaciones de NLP.

Transfer Learning

El Transfer Learning se basa en la idea de que los modelos de aprendizaje automático pueden aprender patrones generales que son útiles en múltiples tareas. En lugar de entrenar un modelo desde cero para cada tarea nueva, se puede utilizar un modelo pre-entrenado como punto de partida y ajustarlo para la tarea específica.

Por ejemplo, si queremos entrenar un modelo para clasificar opiniones de películas como positivas o negativas, podríamos utilizar un modelo pre-entrenado en una tarea similar, como la clasificación de noticias como verdaderas o falsas. El modelo pre-entrenado ya ha aprendido patrones de lenguaje que pueden ser útiles para la tarea de clasificación de opiniones de películas, y puede ser ajustado con un conjunto de datos de entrenamiento más pequeño y específico para la tarea de clasificación de opiniones de películas.

El Transfer Learning es especialmente útil en aplicaciones de NLP, donde los modelos pre-entrenados pueden aprender patrones de lenguaje comunes que son relevantes para múltiples tareas de procesamiento de lenguaje natural.

Hugging Face

Hugging Face es una plataforma líder en el desarrollo y aplicación del Transfer Learning en el campo del Procesamiento del Lenguaje Natural (NLP). Ofrece una biblioteca de modelos de lenguaje pre-entrenados, como BERT, GPT-2, RoBERTa y otros, así como herramientas y recursos para entrenar y personalizar modelos pre-entrenados para tareas específicas de NLP.

Además, Hugging Face ofrece una variedad de herramientas y recursos, como Transformers, una biblioteca de Python para el procesamiento de lenguaje natural con modelos pre-entrenados de Hugging Face, y Datasets, una biblioteca de Python para trabajar con conjuntos de datos para tareas de NLP.

En resumen, Hugging Face es una plataforma líder en la aplicación del Transfer Learning en el campo del Procesamiento del Lenguaje Natural, y ofrece una variedad de herramientas y recursos para aprovechar al máximo los modelos pre-entrenados y personalizarlos para tareas específicas de NLP.

Patricio Sánchez Fernández

student•

Gracias por el aporte....!!!

Joaquín Alejandro Domínguez Lozano

student•

no se qué es esto pero ya lo quiero aprender, AHHHHHH!!!

Omar Uriel Espejel Díaz

teacher•

Es el presente de la IA!

Cesar supo

student•

Estaba esperando este curso con muchas ganas...

Omar Uriel Espejel Díaz

teacher•

Que gusto! Espero que sea de utilidad!

Mauricio Combariza

student•

Se ve mucho mejor de lo que esperaba. que maravilla!!!

Diego Alejandro Lesmes

student•

🤗 Muy feliz de tener el contenido de este curso, me costo bastante entneder la documentacion y aprender a usarlo en un dominio personalizado, esto es de gran valor y mas aun con el crecimiento de esta comunidad en los ultimos meses

Patricio Sánchez Fernández

student•

Diego, no importa cuanto cueste, lo importante es no perder el entusiasmo por aprender nuevas competencias.

Juan Jose Sepulveda Calderon

student•

Este curso se ve prometedor 🤩

Julian Castro Pulgarin

student•

Lo es!

Omar Uriel Espejel Díaz

teacher•

Cumplió?

Mi Chu

student•

ocupo trabajar en hugging face 🤭

Julian Castro Pulgarin

student•

Goals

Joaquin Romero Flores

student•

Introducción al Transfer Learning

Comparto con ustedes las notas de Cornell Method a modo de sumario.

En lineas generales, los modelos de machine learning aprenden de los errores cometidos y de los aciertos también hechos por modelos previos.

Es una técnica utilizada que toma modelos entrenados anteriormente y los re-entrena pero enfocados en aplicarlos tareas específicas.

Estos son muy utilizados para modelos de visión por computadora o de procesamiento de lenguaje natural.

Estos modelos logran una comprensión de las imágenes, sus pequeñas cualidades y también del lenguaje. Por ejemplo: pueden comprender muy bien cómo funciona el lenguaje español.

En otras en otras palabras, la idea detrás de la transferencia es almacenar todo este conocimiento de los modelos pre-entrenados y volverlos a utilizar para una tarea un poco diferente.

Esto puede darse cuando ocurren ligeros cambien en el ambiente en el cual se ejecutaba el modelo y por ende debe aplicarse las tecnicas de transfer learning para adaptarlo y reutlizarlo.

Por qué debería utilizarse transfer learning?

Reutilizar el poder computacional para entrenar modelos gigantescos de lenguaje o visión de computadoras.
Menos costoso para el medio ambiente
Siempre van a faltar datos etiquetados. Los datos son el oro de la siguiente generación, en consecuencia, siempre va a haber una escasez de ellos. No obstante, utilizando transfer learning con menores datos, podemos obtener modelos muy buenos.
Así que los modelos de transfer learning a la larga tenderán a ser mejores modelos que aquellos que decidas llevar a cabo desde cero .

Diego Alberto Rodarte Sánchez

student•

que curso de platzi me recomiendas para empezar a aprender a usar python y git?

Samuel Soto Hoyos

student•

Hola Diego, yo te aconsejo comenzar con estos dos cursos: https://platzi.com/cursos/python-cs/ https://platzi.com/cursos/git-github/

Jesús Briceño

student•

Esta técnica sirve también para regresión? Es decir, si tengo un modelo que entrené para predecir x variable con ciertas variables de entrada a ciertas condiciones, puedo aplicar transfer learning a dicho modelo para que siga calculando x pero con las variables de entrada en otras condiciones?

Omar Uriel Espejel Díaz

teacher•

Sí se puede usar también para regresión (ejemplo).

Sin embargo, se usa más a menudo cuando es posible crear un modelo que tenga un conocimiento general (no tan específico). Por ejemplo, en lenguaje tenemos modelos que aprenden a leer y entender el español en general. En visión tenemos modelos que entienden muy bien de sombras y volumen. Por lo común en regresión nos enfrentamos a tasks más específicas.

Carlos Andres Gomez Daza

student•

esto sirve para construir chatbots?

Armando Gomez

student•

que cursos previos deberia de haber pasado antes de comenzar este curso? esque soy nuevo y no se de pyton y git y me gustaria que me recomienden los cursos de aqui de platzi para no esta tan perdido

Daniel Stiven Correa Gonzalez

student•

alguien sabe que modelo de Hugging face podría usar para clasificación de cliente, veo que en regresiones hay muchos

Omar Uriel Espejel Díaz

teacher•

No conozco uno específicamente. Pero puedes buscar filtrando en la página de modelos de Hugging Face. Por ejemplo, acá filtré por "customer". Si no existe el modelo como tal, podrías usar uno de los disponibles y aplicar transfer learning con tus propios u otros datos.

Omar Sanseviero

student•

Creo que tambien depende de que features estamos hablando. Si tienes diferentes features tal vez tecnicas de regresion/clasificacion tradicionales funcionen mejor. En general, los transformers no son ideales para datos tabulares. Pero si el unico input (entrada) es texto, ahi podrias enfocar el problema desde un punto de clasificacion de texto.

Virry T.

student•

Dios, no le entiendo al facilitador.... esto va a estar muy complicado.

MARIA TERESA PANIAGUA RIVERA

student•

Venga a darle con todo

Patricio Sánchez Fernández

student•

Nuevo curso, nuevo desafío y nuevos conocimientos.

andrea isabel perez chang

student•

No sabia de este curso y tiene bastante tiempo se ve genial

Jafet Brito

student•

Excelente, tenía muchas dudas. Ahora voy a resolverlas con este curso.

Francisco Franco

student•

El transfer learning es una técnica de aprendizaje automático en la que el conocimiento adquirido al resolver un problema se reutiliza para resolver otro problema relacionado.