Defensa de tesis: 'Mejora de la robustez y la reproducibilidad en la validación de sistemas de generación de lenguaje natural'

El rápido avance de los grandes modelos de lenguaje (LLM) ha revolucionado la generación de lenguaje natural (NLG), pero también ha dado lugar a importantes desafíos en su evaluación. Las métricas automáticas son insuficientes para captar la verdadera calidad del texto, mientras que la evaluación manual requiere demasiados recursos. Esta tesis analiza los fundamentos de la evaluación de la NLG. En primer lugar, investiga errores semánticos como las alucinaciones y las omisiones, demostrando que la validación humana experta es estrictamente necesaria debido al bajo grado de acuerdo entre las personas evaluadoras no expertas. A continuación, establece directrices empíricas para el diseño experimental basadas en marcos estadísticos robustos y evalúa la reproducibilidad de las evaluaciones actuales. Finalmente, propone una metodología híbrida que combina la escalabilidad de los LLM con la fiabilidad de la intervención humana bajo demanda, garantizando evaluaciones más rigurosas, transparentes y reproducibles.

Directores: José María Alonso y Alberto Bugarín Diz.