Uso práctico de Sentence Transformers en procesamiento de textos

Notas

• sentes-transformers es una biblioteca y framework de embeddings de oraciones o textos completos.
  • Características:
    • Utiliza modelos pre-entrenados (como BERT, RoBERTa, DistilBERT entre otros) y técnicas de aprendizaje por transferencia para generar representaciones de texto de alta calidad.
    • A diferencia de Bag of Words o TF-IDF, considera el contexto y la semántica de las oraciones. Lo que permite representaciones más ricas y significativa
  • Ventajas:
    • Mejora de la semántica: captura significados semánticos y relaciones entre palabras en las oraciones
    • Facilidad de uso: proporciona una API sencilla para calcular representaciones de oraciones y textos
    • Interoperabilidad: Puede trabajar con una variedad de modelos pre-entrenados y permite la comparación de oraciones entre diferentes idiomas
      • Admite modelos pre-entrenados de varios idiomas, lo significa que puede utilizar modelos diseñados específicamente para un idioma en particular. Algunos modelos pre-entrenados son multilingües lo que permite procesar y comparar oraciones en múltiples idiomas
      • Es compatible con varias arquitecturas de modelos pre-entrenados. Esta flexibilidad permite elegir la arquitectura que mejor se adapte a las necesidades y datos específicos
      • Se pude hacer transformaciones de texto y obtener representaciones vectoriales de oraciones y textos en diferentes idiomas.
      • Facilita la comparación de oraciones y textos utilizando diferentes modelos pre-entrenados, lo que permite evaluar la representación de los datos cuando se procesan con diferentes modelos, ayudando a seleccionar el modelo que mejor se adapte a la tarea
      • Se puede transferir e conocimiento aprendido en un idioma a tareas en otro idioma. Útil en aplicaciones de traducción automática, análisis de sentimientos y procesamiento de texto en general
      • Flexibilidad den la elección de modelos según necesidad y recursos computacionales disponibles. Podemos seleccionar modelos más grandes y precisos para tareas críticas o modelos más ligeros para aplicaciones con restricciones o recursos.
    • Alto rendimiento: Ofrece una representación eficiente de textos y es útil en una amplia gama de aplicaciones NLP

Corrección menor de la clase: el limite de 256, no es de caracteres sino de tokens (palabras en la mayoría de casos)

Recomendado el curso de Pandas, ahora tiene más sentido jaja.

sentence\_transformers es muy util! así utilizas grandes modelos de lenguaje sin bajarlos a tu computadora o a colab.