Análisis Semántico: Buscar Textos con Sentence Transformers

Clase 10 de 26 • Curso de Embeddings y Bases de Datos Vectoriales para NLP

Resumen

¿Cómo realizar una búsqueda semántica vectorial con Sentence Transformers?

La capacidad de convertir texto en espacios vectoriales ha revolucionado el análisis de datos textuales, permitiendo búsquedas semánticas más precisas y efectivas. En este contexto, utilizamos el dataset de diálogos de Avatar que ya hemos transformado a embeddings, lo que nos permite aplicarle una búsqueda semántica vectorial de manera eficiente.

¿Qué es la búsqueda semántica vectorial?

La búsqueda semántica vectorial utiliza representaciones en forma de vectores de los datos textuales para identificar similitudes semánticas entre términos de búsqueda y el contenido del dataset. Al utilizar Sentences Transformers, podemos aplicar métricas de similitud, como el coseno, para encontrar los resultados más similares a un término de búsqueda dado.

¿Cómo se implementa con Sentences Transformers?

Para implementar esta técnica, añadimos una nueva columna en nuestro dataset donde calcularemos la similitud usando la métrica de coseno. Aquí, te explicamos cómo hacerlo paso a paso:

Agregar una nueva columna de similitud:
```
df_avatar['Similarity'] = df_avatar.embeddings.apply(
    lambda x: utils.cossim(x, query_embedding[0])
)
```
En este paso, 'utils.cossim' calcula la similitud entre los embeddings del dataset y nuestro 'query_embedding'.
Definir el término de búsqueda:

Antes de calcular la similitud, debemos definir nuestro término de búsqueda:
```
query_embedding = model.encode('teach me please')
```
Aquí, model.encode transforma el término de búsqueda en un vector de espacio, lo cual es fundamental para comparar su similitud con los datos.
Obtener los resultados más similares:

Una vez calculadas las similitudes, podemos ordenar los datos para mostrar los diálogos más cercanos semánticamente al término de búsqueda:
```
df_avatar_sorted = df_avatar.sort_values(by='Similarity', ascending=False).head(10)
```
Este paso muestra los 10 resultados más relevantes, basados en una búsqueda de "teach me please".

¿Qué resultados podemos esperar?

El término de búsqueda "teach me please" reveló resultados como "yes, yes, I will teach you" o preguntas que tienen un significado contextual cercano, lo que demuestra la efectividad de la búsqueda semántica más allá de un simple match de palabras.

¿Qué otros retos y experimentos podemos realizar?

Además del ejemplo anterior, puedes explorar otras funcionalidad de Sentence Transformers aplicándolo a míltiples datasets. Aquí te dejamos algunas sugerencias para motivarte a seguir aprendiendo:

Prueba con diferentes términos de búsqueda: No te limites a frases simples como "teach me please". Experimenta con frases más complejas.
Utiliza diferentes datasets: Usa otros datasets disponibles en la sección de recursos para diversificar la experiencia de búsqueda semántica.
Busca frases específicas de capítulos: Si tienes un capítulo o una escena en mente, inserta una frase clave y utiliza la búsqueda semántica para encontrar ese diálogo en el dataset.

La búsqueda semántica vectorial abre un abanico de posibilidades, permitiéndote ir más allá de las búsquedas convencionales basadas en coincidencias exactas. ¡Anímate a seguir explorando el fascinante mundo del procesamiento de lenguaje natural!

José Daniel Galván Suazo

student•

Realicé el desafío con el dataset de Walmart. Hice una búsqueda semántica en base a una necesidad y me recomendó productos.

Patricio Sánchez Fernández

student•

Excelente José, felicitaciones...!

Diana Loboa

student•

Me aventuré en el análisis de contenido de YouTube, específicamente del canal de @ManuelaEcheverri, y...

Scraping: Empecé extrayendo los títulos y enlaces de los videos.

Pandas: Con el curso de Pandas, almacené los datos en un CSV.

Aplicando busqueda semantica, aqui el resultado.

Miguel Granados

student•

Les comparto un ejercicio en el que se integra más de una capa de embeddings para el caso de los productos de Walmart. Este ejercicio considera el precio de lista y la categoría (además de la descripción del producto), con el objetivo de que el modelo cuente con mayor contexto para identificar las similaridades de los términos de consulta:

# Import working libraries
import pandas as pd
from sentence_transformers import SentenceTransformer, util
import os
import numpy as np

# Set wd
directory = '/content/drive/MyDrive/Python Business Cases/Embeddings'
os.chdir(directory)

# Load data
df_walmart = pd.read_csv('marketing_sample_for_walmart_com-ecommerce__20191201_20191231__30k_data.csv')
df_walmart.head(10)

# Change brand Costeï¿½ï¿½a
df_walmart['Brand'] = df_walmart['Brand'].str.replace('Costeï¿½ï¿½a', 'Costena')

# Set model
model = SentenceTransformer('sentence-transformers/all-MiniLM-L6-v2')

# Function to calculate embeddings for different data types
def calculate_embeddings(data, is_numeric=False):
    if is_numeric:
        # For numeric data, we'll convert to string and add a prefix
        data = data.astype(str)
        data = 'Price: ' + data
    return model.encode(data, batch_size=64, show_progress_bar=True)

# Calculate embeddings for Product Name, Sale Price, and Category
df_walmart['product_embeddings'] = calculate_embeddings(df_walmart['Product Name']).tolist()
df_walmart['price_embeddings'] = calculate_embeddings(df_walmart['Sale Price'], is_numeric=True).tolist()
df_walmart['category_embeddings'] = calculate_embeddings(df_walmart['Category']).tolist()

# Function to calculate similarity with multiple features
def calculate_similarity(query, product_emb, price_emb, category_emb):
    query_embedding = model.encode([query])
    product_sim = util.cos_sim(product_emb, query_embedding[0])
    price_sim = util.cos_sim(price_emb, query_embedding[0])
    category_sim = util.cos_sim(category_emb, query_embedding[0])
    return (product_sim + price_sim + category_sim) / 3  # Simple average of similarities

# Example query
query = 'cheap chile products'

# Calculate similarity
df_walmart['similarity'] = df_walmart.apply(lambda row: calculate_similarity(query, row['product_embeddings'], 
                                                                             row['price_embeddings'], 
                                                                             row['category_embeddings']), axis=1)

# Sort and display results
results = df_walmart.sort_values('similarity', ascending=False).head(20)
print(results[['Product Name', 'Sale Price', 'Category', 'similarity']])

Rodrigo Sandoval

student•

Y este modelo pre entrenado tambien sirve para utilizarlo en el idioma español o si le paso un DF en español no funciona tan bien?

lizardo durand

student•

No es necesario que Sentence Transformers se actualice constantemente. Una vez que tengas el modelo entrenado y funcionando, puedes usarlo sin necesidad de actualizaciones frecuentes. Sin embargo, es recomendable revisar y actualizar el modelo de vez en cuando para aprovechar mejoras en la arquitectura o en el entrenamiento, especialmente si estás trabajando con datos en un dominio que cambia rápidamente. Mantener la calidad de los embeddings es clave para obtener buenos resultados en búsqueda semántica.

Mauricio Martínez Orjuela

student•

El que lo entendió... lo entendió

Camilo Arguello

student•

[Pregunta]

Algo que remarqué en el dataset de Disneyland es que se debe tener en cuenta el ' , ya que si pongo como query "I didn't like it' toma reviews positivos.

Cómo me récomiendan manejar esos escenarios ? Pensé en regex para eliminar las ' pero que pasa si el query_embedding si tiene el ' .

Sandra Milena RAIRAN PINILLA

student•

Realice el reto con dataset de Disneylan Reviews.

query_embedding = model.encode(['Disney magic'])

df_DisneylandReviews['similarity'] = df_DisneylandReviews.embeddings.apply(lambda x : util.cos_sim(x,query_embedding[0]))

df_DisneylandReviews.sort_values('similarity',ascending=False).head(10)