CursosEmpresasBlogLiveConfPrecios

Introducción a los Transformers

Clase 6 de 17 • Curso de Transfer Learning con Hugging Face

Clase anteriorSiguiente clase

Contenido del curso

Introducción al Hub de Hugging Face
  • 1
    Introducción al transfer learning

    Introducción al transfer learning

    05:00
  • 2
    Machine learning abierto para todo el mundo

    Machine learning abierto para todo el mundo

    08:01
  • 3
    Las tasks en machine learning

    Las tasks en machine learning

    06:42
  • Quiz: introducción al Hub de Hugging Face

Primeros pasos con transfer learning y transformers
  • 4
    Tus primeros modelos pre-entrenados usando pipeline

    Tus primeros modelos pre-entrenados usando pipeline

    15:13
  • 5
    Explorando los datasets

    Explorando los datasets

    04:14
  • 6
    Introducción a los Transformers

    Introducción a los Transformers

    09:09
  • 7
    Aplicando transfer learning

    Aplicando transfer learning

    04:36
  • Quiz: Primeros pasos con transfer learning

Computer vision
  • 8
    Carga de dataset para computer vision

    Carga de dataset para computer vision

    15:32
  • 9
    Procesamiento de dataset para computer vision

    Procesamiento de dataset para computer vision

    11:15
  • 10
    Configurando un Trainer para computer vision

    Configurando un Trainer para computer vision

    18:19
  • 11
    Entrenamiento y evaluación de modelo de computer vision

    Entrenamiento y evaluación de modelo de computer vision

    07:14
  • Quiz: Computer vision con Hugging Face

Procesamiento de lenguaje natural
  • 12
    Carga de dataset para NLP

    Carga de dataset para NLP

    06:56
  • 13
    Procesamiento de dataset para NLP

    Procesamiento de dataset para NLP

    16:02
  • 14
    Configurando un Trainer para NLP

    Configurando un Trainer para NLP

    14:06
  • 15
    Entrenamiento y evaluación de modelo de NLP

    Entrenamiento y evaluación de modelo de NLP

    07:28
  • Quiz: NLP con Hugging Face

Comparte en el Hub
  • 16
    El Hub como tu curriculum para machine learning

    El Hub como tu curriculum para machine learning

    05:37
  • 17
    Compartir tu modelo en el Hub de Hugging Face

    Compartir tu modelo en el Hub de Hugging Face

    14:48
    Ricardo Silva

    Ricardo Silva

    student•
    hace 3 años

    Los transformers merecen un curso completo!

      Omar Uriel Espejel Díaz

      Omar Uriel Espejel Díaz

      teacher•
      hace 3 años

      Comenten en Twitter y etiqueten a @espejelomar! Sería excelente!

      Juan R. Vergara M.

      Juan R. Vergara M.

      student•
      hace 2 años

      Oh sí totalmente de acuerdo 💡

    Santiago Ahumada Lozano

    Santiago Ahumada Lozano

    student•
    hace 3 años

    A grandes rasgos, los transformers son modelos especializados en detectar las formas en que los elementos de un dataset se influecian y se relacionan entre sí. Con base en ello pueden explicar cosas como generar resumenes.

    Recomiendo mucho este video donde explican muy bien que es un transformer: Las REDES NEURONALES ahora prestan ATENCIÓN! - TRANSFORMERS ¿Cómo funcionan?

      Santiago Restrepo

      Santiago Restrepo

      student•
      hace 3 años

      Este otro video como continuacion: https://www.youtube.com/watch?v=xi94v_jl26U

      Luis Boivar

      Luis Boivar

      student•
      hace 2 años

      Excelente aporte, los videos de esta canal son EXCELENTES.

      que cool entender los transformers.

    Maria Barrera

    Maria Barrera

    student•
    hace 3 años

    Yo actualmente trabajo en NER clínico con el formato de etiquetado BIO haciendo fine tuning con un modelo de unos españoles :D, vine a seguir aprendiendo de este maravilloso mundo de los transformers. ¡Me pone muy feliz que un Latino labore en Hugging face, super crack, Omar!

      Omar Uriel Espejel Díaz

      Omar Uriel Espejel Díaz

      teacher•
      hace 3 años

      Muchas gracias María! Que interesante lo que haces. Te recomiendo seguir a @osanseviero en Twitter. Es un grande en Hugging Face! También latino.

    Luis Rogelio Reyes Hernandez

    Luis Rogelio Reyes Hernandez

    student•
    hace 3 años

    Introducción a los Transformers

    El presente y futuro proximo de machine learning

    Transformers como GPT-3

    existen para areas como

    • lenguaje
    • series de tiempo
    • Vision
    • Audio
    • Aprendizaje por refuerzo

    ¿Como funcionan?

    Funcionan con la union de dos modelos un encoder que maneja el input y un decoder que da un output

    El encoder y el decoder pueden funcionar como modelos separados, modelos que son solo Encoders y modelos que son solo Decoders

    Encoder: Input

    El encoder crea una abstracción de los datos ingresados que entiende el modelo

    Existen modelos que son únicamente encoders como:

    • BERT
    • AKBERT
    • XLM
    • DistilBERT
    • RoBERTa

    pueden hacer tasks como:

    • Clasificación de texto
    • Reconocimiento de entidades en el texto
    • Extracción de preguntas y respuestas de un texto

    Decoder: Output

    En base a la información abstraída se crea el output

    Modelos decoders:

    • GPT-Neo & GPT-J
    • GPT, GPT-2, GPT-3, GPT-4
    • TransformerXL
    • CTRL

    Pueden realizar tareas como

    • Generacion de texto

    algunos modelos que son encoder-decoder o secuencia a secuencia

    • BART
    • T5

    Algunas de las aplicaciones/tasks de los modelos encode decoder las cuales son tareas multimodales

    • Descripción de imágenes: en base a una imagen describe que hay en ella
    • Traducción entre idiomas
    • Generacion de resúmenes
    • Generacion de imágenes desde el texto

    Crear estos modelos desde 0 es muy costoso y muy complicado para un individuo u organización pequeña, para eso usamos el transfer learning

    Rómulo Bañares Roca

    Rómulo Bañares Roca

    student•
    hace 3 años

    Transformers: BERT - AKBERT - XLM - DistilBERT - RoBERTa

    Mauricio Combariza

    Mauricio Combariza

    student•
    hace 3 años

    BERT es un método que permite realizar un entrenamiento previo de representaciones lingüísticas.

    Lo acabo de saber!!

    Nicolas Velasquez Lopez

    Nicolas Velasquez Lopez

    student•
    hace 3 años

    Pregunto a chat GPT qué es un transformer:

    Un Transformer es una arquitectura de red neuronal que fue introducida en 2017 en el artículo "Attention Is All You Need" por Vaswani et al. A diferencia de las redes neuronales recurrentes (RNN) que procesan una secuencia de entrada de forma secuencial, los Transformers procesan toda la secuencia de entrada simultáneamente utilizando mecanismos de atención.

    En un Transformer, la entrada se transforma a través de múltiples capas, cada una de las cuales consiste en dos subcapas: la capa de atención y la capa de alimentación hacia adelante. La capa de atención permite que el Transformer se centre en partes específicas de la entrada relevante para la tarea que está realizando, mientras que la capa de alimentación hacia adelante proporciona una red neuronal clásica que procesa la salida de la capa de atención.

    Los Transformers se han utilizado en una amplia variedad de aplicaciones, incluyendo el procesamiento del lenguaje natural (NLP), la visión por computadora y la generación de texto. La arquitectura ha demostrado ser muy efectiva para tareas de NLP, en particular para el modelado de lenguaje y la traducción automática.

    Diego Bustos Kehdy

    Diego Bustos Kehdy

    student•
    hace 10 meses

    Vengo del futuro. Se puede usar Deepseek R1, desde Ollama !!!

    MARIA TERESA PANIAGUA RIVERA

    MARIA TERESA PANIAGUA RIVERA

    student•
    hace 2 años

    Gracias

    Juan R. Vergara M.

    Juan R. Vergara M.

    student•
    hace 2 años

    Este curso cada vez se pone mejor 🚀🔥🏅

Escuelas

  • Desarrollo Web
    • Fundamentos del Desarrollo Web Profesional
    • Diseño y Desarrollo Frontend
    • Desarrollo Frontend con JavaScript
    • Desarrollo Frontend con Vue.js
    • Desarrollo Frontend con Angular
    • Desarrollo Frontend con React.js
    • Desarrollo Backend con Node.js
    • Desarrollo Backend con Python
    • Desarrollo Backend con Java
    • Desarrollo Backend con PHP
    • Desarrollo Backend con Ruby
    • Bases de Datos para Web
    • Seguridad Web & API
    • Testing Automatizado y QA para Web
    • Arquitecturas Web Modernas y Escalabilidad
    • DevOps y Cloud para Desarrolladores Web
  • English Academy
    • Inglés Básico A1
    • Inglés Básico A2
    • Inglés Intermedio B1
    • Inglés Intermedio Alto B2
    • Inglés Avanzado C1
    • Inglés para Propósitos Específicos
    • Inglés de Negocios
  • Marketing Digital
    • Fundamentos de Marketing Digital
    • Marketing de Contenidos y Redacción Persuasiva
    • SEO y Posicionamiento Web
    • Social Media Marketing y Community Management
    • Publicidad Digital y Paid Media
    • Analítica Digital y Optimización (CRO)
    • Estrategia de Marketing y Growth
    • Marketing de Marca y Comunicación Estratégica
    • Marketing para E-commerce
    • Marketing B2B
    • Inteligencia Artificial Aplicada al Marketing
    • Automatización del Marketing
    • Marca Personal y Marketing Freelance
    • Ventas y Experiencia del Cliente
    • Creación de Contenido para Redes Sociales
  • Inteligencia Artificial y Data Science
    • Fundamentos de Data Science y AI
    • Análisis y Visualización de Datos
    • Machine Learning y Deep Learning
    • Data Engineer
    • Inteligencia Artificial para la Productividad
    • Desarrollo de Aplicaciones con IA
    • AI Software Engineer
  • Ciberseguridad
    • Fundamentos de Ciberseguridad
    • Hacking Ético y Pentesting (Red Team)
    • Análisis de Malware e Ingeniería Forense
    • Seguridad Defensiva y Cumplimiento (Blue Team)
    • Ciberseguridad Estratégica
  • Liderazgo y Habilidades Blandas
    • Fundamentos de Habilidades Profesionales
    • Liderazgo y Gestión de Equipos
    • Comunicación Avanzada y Oratoria
    • Negociación y Resolución de Conflictos
    • Inteligencia Emocional y Autogestión
    • Productividad y Herramientas Digitales
    • Gestión de Proyectos y Metodologías Ágiles
    • Desarrollo de Carrera y Marca Personal
    • Diversidad, Inclusión y Entorno Laboral Saludable
    • Filosofía y Estrategia para Líderes
  • Diseño de Producto y UX
    • Fundamentos de Diseño UX/UI
    • Investigación de Usuarios (UX Research)
    • Arquitectura de Información y Usabilidad
    • Diseño de Interfaces y Prototipado (UI Design)
    • Sistemas de Diseño y DesignOps
    • Redacción UX (UX Writing)
    • Creatividad e Innovación en Diseño
    • Diseño Accesible e Inclusivo
    • Diseño Asistido por Inteligencia Artificial
    • Gestión de Producto y Liderazgo en Diseño
    • Diseño de Interacciones Emergentes (VUI/VR)
    • Desarrollo Web para Diseñadores
    • Diseño y Prototipado No-Code
  • Contenido Audiovisual
    • Fundamentos de Producción Audiovisual
    • Producción de Video para Plataformas Digitales
    • Producción de Audio y Podcast
    • Fotografía y Diseño Gráfico para Contenido Digital
    • Motion Graphics y Animación
    • Contenido Interactivo y Realidad Aumentada
    • Estrategia, Marketing y Monetización de Contenidos
  • Desarrollo Móvil
    • Fundamentos de Desarrollo Móvil
    • Desarrollo Nativo Android con Kotlin
    • Desarrollo Nativo iOS con Swift
    • Desarrollo Multiplataforma con React Native
    • Desarrollo Multiplataforma con Flutter
    • Arquitectura y Patrones de Diseño Móvil
    • Integración de APIs y Persistencia Móvil
    • Testing y Despliegue en Móvil
    • Diseño UX/UI para Móviles
  • Diseño Gráfico y Arte Digital
    • Fundamentos del Diseño Gráfico y Digital
    • Diseño de Identidad Visual y Branding
    • Ilustración Digital y Arte Conceptual
    • Diseño Editorial y de Empaques
    • Motion Graphics y Animación 3D
    • Diseño Gráfico Asistido por Inteligencia Artificial
    • Creatividad e Innovación en Diseño
  • Programación
    • Fundamentos de Programación e Ingeniería de Software
    • Herramientas de IA para el trabajo
    • Matemáticas para Programación
    • Programación con Python
    • Programación con JavaScript
    • Programación con TypeScript
    • Programación Orientada a Objetos con Java
    • Desarrollo con C# y .NET
    • Programación con PHP
    • Programación con Go y Rust
    • Programación Móvil con Swift y Kotlin
    • Programación con C y C++
    • Administración Básica de Servidores Linux
  • Negocios
    • Fundamentos de Negocios y Emprendimiento
    • Estrategia y Crecimiento Empresarial
    • Finanzas Personales y Corporativas
    • Inversión en Mercados Financieros
    • Ventas, CRM y Experiencia del Cliente
    • Operaciones, Logística y E-commerce
    • Gestión de Proyectos y Metodologías Ágiles
    • Aspectos Legales y Cumplimiento
    • Habilidades Directivas y Crecimiento Profesional
    • Diversidad e Inclusión en el Entorno Laboral
    • Herramientas Digitales y Automatización para Negocios
  • Blockchain y Web3
    • Fundamentos de Blockchain y Web3
    • Desarrollo de Smart Contracts y dApps
    • Finanzas Descentralizadas (DeFi)
    • NFTs y Economía de Creadores
    • Seguridad Blockchain
    • Ecosistemas Blockchain Alternativos (No-EVM)
    • Producto, Marketing y Legal en Web3
  • Recursos Humanos
    • Fundamentos y Cultura Organizacional en RRHH
    • Atracción y Selección de Talento
    • Cultura y Employee Experience
    • Gestión y Desarrollo de Talento
    • Desarrollo y Evaluación de Liderazgo
    • Diversidad, Equidad e Inclusión
    • AI y Automatización en Recursos Humanos
    • Tecnología y Automatización en RRHH
  • Finanzas e Inversiones
    • Fundamentos de Finanzas Personales y Corporativas
    • Análisis y Valoración Financiera
    • Inversión y Mercados de Capitales
    • Finanzas Descentralizadas (DeFi) y Criptoactivos
    • Finanzas y Estrategia para Startups
    • Inteligencia Artificial Aplicada a Finanzas
    • Domina Excel
    • Financial Analyst
    • Conseguir trabajo en Finanzas e Inversiones
  • Startups
    • Fundamentos y Validación de Ideas
    • Estrategia de Negocio y Product-Market Fit
    • Desarrollo de Producto y Operaciones Lean
    • Finanzas, Legal y Fundraising
    • Marketing, Ventas y Growth para Startups
    • Cultura, Talento y Liderazgo
    • Finanzas y Operaciones en Ecommerce
    • Startups Web3 y Blockchain
    • Startups con Impacto Social
    • Expansión y Ecosistema Startup
  • Cloud Computing y DevOps
    • Fundamentos de Cloud y DevOps
    • Administración de Servidores Linux
    • Contenerización y Orquestación
    • Infraestructura como Código (IaC) y CI/CD
    • Amazon Web Services
    • Microsoft Azure
    • Serverless y Observabilidad
    • Certificaciones Cloud (Preparación)
    • Plataforma Cloud GCP

Platzi y comunidad

  • Platzi Business
  • Live Classes
  • Lanzamientos
  • Executive Program
  • Trabaja con nosotros
  • Podcast

Recursos

  • Manual de Marca

Soporte

  • Preguntas Frecuentes
  • Contáctanos

Legal

  • Términos y Condiciones
  • Privacidad
  • Tyc promociones
Reconocimientos
Reconocimientos
Logo reconocimientoTop 40 Mejores EdTech del mundo · 2024
Logo reconocimientoPrimera Startup Latina admitida en YC · 2014
Logo reconocimientoPrimera Startup EdTech · 2018
Logo reconocimientoCEO Ganador Medalla por la Educación T4 & HP · 2024
Logo reconocimientoCEO Mejor Emprendedor del año · 2024
De LATAM conpara el mundo
YoutubeInstagramLinkedInTikTokFacebookX (Twitter)Threads