Pruebas al modelo con fine-tuning

Pruebas al modelo con fine-tuning

Debemos evaluar la eficiencia del modelo:

• Metricas automaticas: se utilizaran metricas como BLEU y METEOR.
• Diversidad y novedad: si tenemos diferentes preguntas y cuando estas respuestas tienen cierta similitud(lo que queremos evitar).
• Evaluacion de dominio especifico: Si todas las respuestas pertenecen al mismo contexto con el dataset con el que se entreno.
• Evaluación humana: Pedimos a un grupo de personas que evalúen las respuestas generadas en la gramatica y si acierta con el contexto.

Añadiendo un poquito de contexto:

BLEU (Bilingual Evaluation Understudy):

BLEU es una métrica ampliamente utilizada para evaluar la calidad de las traducciones automáticas o generaciones de lenguaje natural en general. Fue propuesta originalmente para evaluar sistemas de traducción automática, pero también ha sido adoptada para evaluar modelos generativos de lenguaje como ChatGPT. BLEU compara las respuestas generadas por el modelo con las respuestas de referencia proporcionadas en el conjunto de datos de prueba. Para calcular BLEU, se mide la coincidencia de palabras y frases entre las respuestas generadas y las respuestas de referencia. Cuanto mayor sea el puntaje de BLEU, mayor será la similitud entre las respuestas generadas y las respuestas de referencia.

METEOR (Metric for Evaluation of Translation with Explicit Ordering):

METEOR es otra métrica automática utilizada para evaluar la calidad de las traducciones o generaciones de lenguaje natural. Al igual que BLEU, METEOR compara las respuestas generadas con las respuestas de referencia, pero utiliza un enfoque diferente. METEOR no se basa únicamente en la coincidencia exacta de palabras, sino que también tiene en cuenta sinónimos y variaciones gramaticales.