Defensa de tese: 'Mellora da robustez e da reproducibilidade na validación de sistemas de xeración de linguaxe natural'

O rápido avance dos grandes modelos de linguaxe (LLM) revolucionou a xeración de linguaxe natural (NLG), pero tamén deu lugar a importantes desafíos na súa avaliación. As métricas automáticas son insuficientes para captar a verdadeira calidade do texto, mentres que a avaliación manual require demasiados recursos. Esta tese analiza os fundamentos da avaliación da NLG. En primeiro lugar, investiga erros semánticos como as alucinacións e as omisións, demostrando que a validación humana experta é estritamente necesaria debido ao baixo grao de acordo entre as persoas avaliadoras non expertas. A continuación, establece directrices empíricas para o deseño experimental baseadas en marcos estatísticos robustos e avalía a reproducibilidade das avaliacións actuais. Finalmente, propón unha metodoloxía híbrida que combina a escalabilidade dos LLM coa fiabilidade da intervención humana baixo demanda, garantindo avaliacións máis rigorosas, transparentes e reproducibles.

Directores: José María Alonso e Alberto Bugarín Diz.