
Defensa de tese: 'Mellora da robustez e da reproducibilidade na validación de sistemas de xeración de linguaxe natural'
O rápido avance dos grandes modelos de linguaxe (LLM) revolucionou a xeración de linguaxe natural (NLG), pero tamén deu lugar a importantes desafíos na súa avaliación. As métricas automáticas son insuficientes para captar a verdadeira calidade do texto, mentres que a avaliación manual require demasiados recursos. Esta tese analiza os fundamentos da avaliación da NLG. En primeiro lugar, investiga erros semánticos como as alucinacións e as omisións, demostrando que a validación humana experta é estritamente necesaria debido ao baixo grao de acordo entre as persoas avaliadoras non expertas. A continuación, establece directrices empíricas para o deseño experimental baseadas en marcos estatísticos robustos e avalía a reproducibilidade das avaliacións actuais. Finalmente, propón unha metodoloxía híbrida que combina a escalabilidade dos LLM coa fiabilidade da intervención humana baixo demanda, garantindo avaliacións máis rigorosas, transparentes e reproducibles.
Directores: José María Alonso e Alberto Bugarín Diz.
O rápido avance dos grandes modelos de linguaxe (LLM) revolucionou a xeración de linguaxe natural (NLG), pero tamén deu lugar a importantes desafíos na súa avaliación. As métricas automáticas son insuficientes para captar a verdadeira calidade do texto, mentres que a avaliación manual require demasiados recursos. Esta tese analiza os fundamentos da avaliación da NLG. En primeiro lugar, investiga erros semánticos como as alucinacións e as omisións, demostrando que a validación humana experta é estritamente necesaria debido ao baixo grao de acordo entre as persoas avaliadoras non expertas. A continuación, establece directrices empíricas para o deseño experimental baseadas en marcos estatísticos robustos e avalía a reproducibilidade das avaliacións actuais. Finalmente, propón unha metodoloxía híbrida que combina a escalabilidade dos LLM coa fiabilidade da intervención humana baixo demanda, garantindo avaliacións máis rigorosas, transparentes e reproducibles.
Directores: José María Alonso e Alberto Bugarín Diz.
Evento presencial
luns, 14 de decembro de 2026
1797206400000
/events/phd-defense-improving-robustness-and-reproducibility-in-validation-of-natural-language-generation-systems
events_gl