CursosEmpresasBlogLiveConfPrecios

Introducción a los Transformers

Clase 6 de 17 • Curso de Transfer Learning con Hugging Face

Clase anteriorSiguiente clase

Contenido del curso

Introducción al Hub de Hugging Face

  • 1
    Introducción al transfer learning

    Introducción al transfer learning

    05:00 min
  • 2
    Machine learning abierto para todo el mundo

    Machine learning abierto para todo el mundo

    08:01 min
  • 3
    Las tasks en machine learning

    Las tasks en machine learning

    06:42 min
  • Quiz: introducción al Hub de Hugging Face

Primeros pasos con transfer learning y transformers

  • 4
    Tus primeros modelos pre-entrenados usando pipeline

    Tus primeros modelos pre-entrenados usando pipeline

    15:13 min
  • 5
    Explorando los datasets

    Explorando los datasets

    04:14 min
  • 6
    Introducción a los Transformers

    Introducción a los Transformers

    Viendo ahora
  • 7
    Aplicando transfer learning

    Aplicando transfer learning

    04:36 min
  • Quiz: Primeros pasos con transfer learning

Computer vision

  • 8
    Carga de dataset para computer vision

    Carga de dataset para computer vision

    15:32 min
  • 9
    Procesamiento de dataset para computer vision

    Procesamiento de dataset para computer vision

    11:15 min
  • 10
    Configurando un Trainer para computer vision

    Configurando un Trainer para computer vision

    18:19 min
  • 11
    Entrenamiento y evaluación de modelo de computer vision

    Entrenamiento y evaluación de modelo de computer vision

    07:14 min
  • Quiz: Computer vision con Hugging Face

Procesamiento de lenguaje natural

  • 12
    Carga de dataset para NLP

    Carga de dataset para NLP

    06:56 min
  • 13
    Procesamiento de dataset para NLP

    Procesamiento de dataset para NLP

    16:02 min
  • 14
    Configurando un Trainer para NLP

    Configurando un Trainer para NLP

    14:06 min
  • 15
    Entrenamiento y evaluación de modelo de NLP

    Entrenamiento y evaluación de modelo de NLP

    07:28 min
  • Quiz: NLP con Hugging Face

Comparte en el Hub

  • 16
    El Hub como tu curriculum para machine learning

    El Hub como tu curriculum para machine learning

    05:37 min
  • 17
    Compartir tu modelo en el Hub de Hugging Face

    Compartir tu modelo en el Hub de Hugging Face

    14:48 min
  • Tomar el examen del curso
    • Ricardo Silva

      Ricardo Silva

      student•
      hace 3 años

      Los transformers merecen un curso completo!

        Omar Uriel Espejel Díaz

        Omar Uriel Espejel Díaz

        teacher•
        hace 3 años

        Comenten en Twitter y etiqueten a @espejelomar! Sería excelente!

        Juan R. Vergara M.

        Juan R. Vergara M.

        student•
        hace 2 años

        Oh sí totalmente de acuerdo 💡

      Santiago Ahumada Lozano

      Santiago Ahumada Lozano

      student•
      hace 3 años

      A grandes rasgos, los transformers son modelos especializados en detectar las formas en que los elementos de un dataset se influecian y se relacionan entre sí. Con base en ello pueden explicar cosas como generar resumenes.

      Recomiendo mucho este video donde explican muy bien que es un transformer: Las REDES NEURONALES ahora prestan ATENCIÓN! - TRANSFORMERS ¿Cómo funcionan?

        Santiago Restrepo

        Santiago Restrepo

        student•
        hace 3 años

        Este otro video como continuacion: https://www.youtube.com/watch?v=xi94v_jl26U

        Luis Boivar

        Luis Boivar

        student•
        hace 2 años

        Excelente aporte, los videos de esta canal son EXCELENTES.

        que cool entender los transformers.

      Maria Barrera

      Maria Barrera

      student•
      hace 3 años

      Yo actualmente trabajo en NER clínico con el formato de etiquetado BIO haciendo fine tuning con un modelo de unos españoles :D, vine a seguir aprendiendo de este maravilloso mundo de los transformers. ¡Me pone muy feliz que un Latino labore en Hugging face, super crack, Omar!

        Omar Uriel Espejel Díaz

        Omar Uriel Espejel Díaz

        teacher•
        hace 3 años

        Muchas gracias María! Que interesante lo que haces. Te recomiendo seguir a @osanseviero en Twitter. Es un grande en Hugging Face! También latino.

      Luis Rogelio Reyes Hernandez

      Luis Rogelio Reyes Hernandez

      student•
      hace 3 años

      Introducción a los Transformers

      El presente y futuro proximo de machine learning

      Transformers como GPT-3

      existen para areas como

      • lenguaje
      • series de tiempo
      • Vision
      • Audio
      • Aprendizaje por refuerzo

      ¿Como funcionan?

      Funcionan con la union de dos modelos un encoder que maneja el input y un decoder que da un output

      El encoder y el decoder pueden funcionar como modelos separados, modelos que son solo Encoders y modelos que son solo Decoders

      Encoder: Input

      El encoder crea una abstracción de los datos ingresados que entiende el modelo

      Existen modelos que son únicamente encoders como:

      • BERT
      • AKBERT
      • XLM
      • DistilBERT
      • RoBERTa

      pueden hacer tasks como:

      • Clasificación de texto
      • Reconocimiento de entidades en el texto
      • Extracción de preguntas y respuestas de un texto

      Decoder: Output

      En base a la información abstraída se crea el output

      Modelos decoders:

      • GPT-Neo & GPT-J
      • GPT, GPT-2, GPT-3, GPT-4
      • TransformerXL
      • CTRL

      Pueden realizar tareas como

      • Generacion de texto

      algunos modelos que son encoder-decoder o secuencia a secuencia

      • BART
      • T5

      Algunas de las aplicaciones/tasks de los modelos encode decoder las cuales son tareas multimodales

      • Descripción de imágenes: en base a una imagen describe que hay en ella
      • Traducción entre idiomas
      • Generacion de resúmenes
      • Generacion de imágenes desde el texto

      Crear estos modelos desde 0 es muy costoso y muy complicado para un individuo u organización pequeña, para eso usamos el transfer learning

      Rómulo Bañares Roca

      Rómulo Bañares Roca

      student•
      hace 3 años

      Transformers: BERT - AKBERT - XLM - DistilBERT - RoBERTa

      Mauricio Combariza

      Mauricio Combariza

      student•
      hace 3 años

      BERT es un método que permite realizar un entrenamiento previo de representaciones lingüísticas.

      Lo acabo de saber!!

      Nicolas Velasquez Lopez

      Nicolas Velasquez Lopez

      student•
      hace 3 años

      Pregunto a chat GPT qué es un transformer:

      Un Transformer es una arquitectura de red neuronal que fue introducida en 2017 en el artículo "Attention Is All You Need" por Vaswani et al. A diferencia de las redes neuronales recurrentes (RNN) que procesan una secuencia de entrada de forma secuencial, los Transformers procesan toda la secuencia de entrada simultáneamente utilizando mecanismos de atención.

      En un Transformer, la entrada se transforma a través de múltiples capas, cada una de las cuales consiste en dos subcapas: la capa de atención y la capa de alimentación hacia adelante. La capa de atención permite que el Transformer se centre en partes específicas de la entrada relevante para la tarea que está realizando, mientras que la capa de alimentación hacia adelante proporciona una red neuronal clásica que procesa la salida de la capa de atención.

      Los Transformers se han utilizado en una amplia variedad de aplicaciones, incluyendo el procesamiento del lenguaje natural (NLP), la visión por computadora y la generación de texto. La arquitectura ha demostrado ser muy efectiva para tareas de NLP, en particular para el modelado de lenguaje y la traducción automática.

      Diego Bustos Kehdy

      Diego Bustos Kehdy

      student•
      hace 10 meses

      Vengo del futuro. Se puede usar Deepseek R1, desde Ollama !!!

      MARIA TERESA PANIAGUA RIVERA

      MARIA TERESA PANIAGUA RIVERA

      student•
      hace 2 años

      Gracias

      Juan R. Vergara M.

      Juan R. Vergara M.

      student•
      hace 2 años

      Este curso cada vez se pone mejor 🚀🔥🏅

    Escuelas

    • Desarrollo Web
      • Fundamentos del Desarrollo Web Profesional
      • Diseño y Desarrollo Frontend
      • Desarrollo Frontend con JavaScript
      • Desarrollo Frontend con Vue.js
      • Desarrollo Frontend con Angular
      • Desarrollo Frontend con React.js
      • Desarrollo Backend con Node.js
      • Desarrollo Backend con Python
      • Desarrollo Backend con Java
      • Desarrollo Backend con PHP
      • Desarrollo Backend con Ruby
      • Bases de Datos para Web
      • Seguridad Web & API
      • Testing Automatizado y QA para Web
      • Arquitecturas Web Modernas y Escalabilidad
      • DevOps y Cloud para Desarrolladores Web
    • English Academy
      • Inglés Básico A1
      • Inglés Básico A2
      • Inglés Intermedio B1
      • Inglés Intermedio Alto B2
      • Inglés Avanzado C1
      • Inglés para Propósitos Específicos
      • Inglés de Negocios
    • Marketing Digital
      • Fundamentos de Marketing Digital
      • Marketing de Contenidos y Redacción Persuasiva
      • SEO y Posicionamiento Web
      • Social Media Marketing y Community Management
      • Publicidad Digital y Paid Media
      • Analítica Digital y Optimización (CRO)
      • Estrategia de Marketing y Growth
      • Marketing de Marca y Comunicación Estratégica
      • Marketing para E-commerce
      • Marketing B2B
      • Inteligencia Artificial Aplicada al Marketing
      • Automatización del Marketing
      • Marca Personal y Marketing Freelance
      • Ventas y Experiencia del Cliente
      • Creación de Contenido para Redes Sociales
    • Inteligencia Artificial y Data Science
      • Fundamentos de Data Science y AI
      • Análisis y Visualización de Datos
      • Machine Learning y Deep Learning
      • Data Engineer
      • Inteligencia Artificial para la Productividad
      • Desarrollo de Aplicaciones con IA
      • AI Software Engineer
    • Ciberseguridad
      • Fundamentos de Ciberseguridad
      • Hacking Ético y Pentesting (Red Team)
      • Análisis de Malware e Ingeniería Forense
      • Seguridad Defensiva y Cumplimiento (Blue Team)
      • Ciberseguridad Estratégica
    • Liderazgo y Habilidades Blandas
      • Fundamentos de Habilidades Profesionales
      • Liderazgo y Gestión de Equipos
      • Comunicación Avanzada y Oratoria
      • Negociación y Resolución de Conflictos
      • Inteligencia Emocional y Autogestión
      • Productividad y Herramientas Digitales
      • Gestión de Proyectos y Metodologías Ágiles
      • Desarrollo de Carrera y Marca Personal
      • Diversidad, Inclusión y Entorno Laboral Saludable
      • Filosofía y Estrategia para Líderes
    • Diseño de Producto y UX
      • Fundamentos de Diseño UX/UI
      • Investigación de Usuarios (UX Research)
      • Arquitectura de Información y Usabilidad
      • Diseño de Interfaces y Prototipado (UI Design)
      • Sistemas de Diseño y DesignOps
      • Redacción UX (UX Writing)
      • Creatividad e Innovación en Diseño
      • Diseño Accesible e Inclusivo
      • Diseño Asistido por Inteligencia Artificial
      • Gestión de Producto y Liderazgo en Diseño
      • Diseño de Interacciones Emergentes (VUI/VR)
      • Desarrollo Web para Diseñadores
      • Diseño y Prototipado No-Code
    • Contenido Audiovisual
      • Fundamentos de Producción Audiovisual
      • Producción de Video para Plataformas Digitales
      • Producción de Audio y Podcast
      • Fotografía y Diseño Gráfico para Contenido Digital
      • Motion Graphics y Animación
      • Contenido Interactivo y Realidad Aumentada
      • Estrategia, Marketing y Monetización de Contenidos
    • Desarrollo Móvil
      • Fundamentos de Desarrollo Móvil
      • Desarrollo Nativo Android con Kotlin
      • Desarrollo Nativo iOS con Swift
      • Desarrollo Multiplataforma con React Native
      • Desarrollo Multiplataforma con Flutter
      • Arquitectura y Patrones de Diseño Móvil
      • Integración de APIs y Persistencia Móvil
      • Testing y Despliegue en Móvil
      • Diseño UX/UI para Móviles
    • Diseño Gráfico y Arte Digital
      • Fundamentos del Diseño Gráfico y Digital
      • Diseño de Identidad Visual y Branding
      • Ilustración Digital y Arte Conceptual
      • Diseño Editorial y de Empaques
      • Motion Graphics y Animación 3D
      • Diseño Gráfico Asistido por Inteligencia Artificial
      • Creatividad e Innovación en Diseño
    • Programación
      • Fundamentos de Programación e Ingeniería de Software
      • Herramientas de IA para el trabajo
      • Matemáticas para Programación
      • Programación con Python
      • Programación con JavaScript
      • Programación con TypeScript
      • Programación Orientada a Objetos con Java
      • Desarrollo con C# y .NET
      • Programación con PHP
      • Programación con Go y Rust
      • Programación Móvil con Swift y Kotlin
      • Programación con C y C++
      • Administración Básica de Servidores Linux
    • Negocios
      • Fundamentos de Negocios y Emprendimiento
      • Estrategia y Crecimiento Empresarial
      • Finanzas Personales y Corporativas
      • Inversión en Mercados Financieros
      • Ventas, CRM y Experiencia del Cliente
      • Operaciones, Logística y E-commerce
      • Gestión de Proyectos y Metodologías Ágiles
      • Aspectos Legales y Cumplimiento
      • Habilidades Directivas y Crecimiento Profesional
      • Diversidad e Inclusión en el Entorno Laboral
      • Herramientas Digitales y Automatización para Negocios
    • Blockchain y Web3
      • Fundamentos de Blockchain y Web3
      • Desarrollo de Smart Contracts y dApps
      • Finanzas Descentralizadas (DeFi)
      • NFTs y Economía de Creadores
      • Seguridad Blockchain
      • Ecosistemas Blockchain Alternativos (No-EVM)
      • Producto, Marketing y Legal en Web3
    • Recursos Humanos
      • Fundamentos y Cultura Organizacional en RRHH
      • Atracción y Selección de Talento
      • Cultura y Employee Experience
      • Gestión y Desarrollo de Talento
      • Desarrollo y Evaluación de Liderazgo
      • Diversidad, Equidad e Inclusión
      • AI y Automatización en Recursos Humanos
      • Tecnología y Automatización en RRHH
    • Finanzas e Inversiones
      • Fundamentos de Finanzas Personales y Corporativas
      • Análisis y Valoración Financiera
      • Inversión y Mercados de Capitales
      • Finanzas Descentralizadas (DeFi) y Criptoactivos
      • Finanzas y Estrategia para Startups
      • Inteligencia Artificial Aplicada a Finanzas
      • Domina Excel
      • Financial Analyst
      • Conseguir trabajo en Finanzas e Inversiones
    • Startups
      • Fundamentos y Validación de Ideas
      • Estrategia de Negocio y Product-Market Fit
      • Desarrollo de Producto y Operaciones Lean
      • Finanzas, Legal y Fundraising
      • Marketing, Ventas y Growth para Startups
      • Cultura, Talento y Liderazgo
      • Finanzas y Operaciones en Ecommerce
      • Startups Web3 y Blockchain
      • Startups con Impacto Social
      • Expansión y Ecosistema Startup
    • Cloud Computing y DevOps
      • Fundamentos de Cloud y DevOps
      • Administración de Servidores Linux
      • Contenerización y Orquestación
      • Infraestructura como Código (IaC) y CI/CD
      • Amazon Web Services
      • Microsoft Azure
      • Serverless y Observabilidad
      • Certificaciones Cloud (Preparación)
      • Plataforma Cloud GCP

    Platzi y comunidad

    • Platzi Business
    • Live Classes
    • Lanzamientos
    • Executive Program
    • Trabaja con nosotros
    • Podcast

    Recursos

    • Manual de Marca

    Soporte

    • Preguntas Frecuentes
    • Contáctanos

    Legal

    • Términos y Condiciones
    • Privacidad
    • Tyc promociones
    Reconocimientos
    Reconocimientos
    Logo reconocimientoTop 40 Mejores EdTech del mundo · 2024
    Logo reconocimientoPrimera Startup Latina admitida en YC · 2014
    Logo reconocimientoPrimera Startup EdTech · 2018
    Logo reconocimientoCEO Ganador Medalla por la Educación T4 & HP · 2024
    Logo reconocimientoCEO Mejor Emprendedor del año · 2024
    De LATAM conpara el mundo
    YoutubeInstagramLinkedInTikTokFacebookX (Twitter)Threads