DeepR3.gal: Reducir, Reutilizar, e Reciclar modelos grandes para desenvolver tecnoloxías da linguaxe responsables e verdes
A linguaxe é a ferramenta máis eficiente e usada polos humanos para transmitir información. A maior parte da información dixital dispoñible contén datos non estruturados en forma de documentos en múltiples idiomas, o que representa un desafío para calquera organización que queira explotar e procesar esta información. O procesamento da linguaxe natural (PLN), que inclúe a comprensión (NLU) e xeración (NLG) automáticas da linguaxe, é un dos principais retos da intelixencia artificial e ten un impacto económico de rápido crecemento na transformación dixital actual. O PLN está no corazón do software que procesa a información e explota a gran cantidade de datos contidos na web, as redes sociais, etc. A pesar das súas impresionantes capacidades, os modelos de lingua pre-adestrados presentan serios problemas desde as perspectivas de investigación, ambiental e ética. O principal obxectivo de investigación do proxecto DeepR3 é o avance no estado da arte da tecnoloxía DeepLearning (DL) para NLU e NLG mediante (i) o desenvolvemento de métodos eficientes para estender a novos dominios, xéneros e idiomas os modelos existentes para os idiomas oficiais de España (castelán, catalán, eúscaro e galego) e inglés; (ii) explorar formas novas de pre-adestrar e axustar modelos de lingua dunha maneira eficiente, reducindo así a pegada de carbono asociada a adestrar os devanditos modelos; (iii) abordar as tarefas de NLU mediante a xeración de texto; (iv) abordar a explicabilidade dos modelos de lingua baseados en DL mediante tarefas de NLG; (v) desenvolver técnicas eficientes que reutilicen e reciclen modelos pre-adestrados para a tradución automática (TA); (vi) aplicar as técnicas desenvolvidas para mellorar a estado da arte en PLN; (vii) desenvolver novos conxuntos de datos de avaliación para analizar o progreso cara a un PLN responsable; (viii) xerar interese científico no proxecto mediante a organización de competicións internacionais de avaliación; e (ix) desenvolver unha serie de aplicacións de dominio avanzadas baseadas en contido para os idiomas do proxecto, en múltiples sectores e dominios. O subproxecto DeepR3.gal ten como obxectivos específicos: (i) definir (e verificar o cumprimento de) directrices e requisitos para o desenvolvemento dun PLN responsable con perspectiva ELSEC (Ética, Legal, Socioeconómica e Cultural); (ii) definir novas métricas para a avaliación intrínseca e extrínseca das tarefas de PLN; (iii) deseñar un conxunto de experimentos e datos para avaliar as capacidades lingüísticas dos modelos de lingua; e (iv) deseñar, implementar e validar sistemas de NLG baseados en DL para meteoroloxía e saúde que reutilizarán datos, corpus, know-how e modelos pre-adestrados en canto a operacións de prognóstico do tempo, información sobre o índice de calidade do aire, e enfermidades cardiovasculares e neurodexenerativas. O reto principal é a xeración de informes e alertas, con énfases nas tarefas de explicabilidade e avaliación. Modelos monolingües (enriquecidos con TA) e multilingües serán avaliados por expertos (meteorólogos ou persoal médico) e usuarios finais non só en galego senón tamén en inglés, castelán, catalán e eúscaro, en colaboración co resto de subproxectos. CiTIUS-USC liderará un Panel sobre PLN responsable (WP1), WP5 (Avaliación) e WP6 (Aplicacións e Casos de Uso) e participará activamente no resto de WPs.
Este proxecto DeepR3 (TED2021-130295B-C33) foi financiado por MCIN/AEI/10.13039/501100011033 e pola Unión Europea “NextGenerationEU”/PRTR.
Proxecto
/research/projects/reducir-reutilizar-e-reciclar-modelos-grandes-para-desenvolver-tecnoloxias-da-linguaxe-responsables-e-verdes
<p>A linguaxe é a ferramenta máis eficiente e usada polos humanos para transmitir información. A maior parte da información dixital dispoñible contén datos non estruturados en forma de documentos en múltiples idiomas, o que representa un desafío para calquera organización que queira explotar e procesar esta información. O procesamento da linguaxe natural (PLN), que inclúe a comprensión (NLU) e xeración (NLG) automáticas da linguaxe, é un dos principais retos da intelixencia artificial e ten un impacto económico de rápido crecemento na transformación dixital actual. O PLN está no corazón do software que procesa a información e explota a gran cantidade de datos contidos na web, as redes sociais, etc. A pesar das súas impresionantes capacidades, os modelos de lingua pre-adestrados presentan serios problemas desde as perspectivas de investigación, ambiental e ética. O principal obxectivo de investigación do proxecto DeepR3 é o avance no estado da arte da tecnoloxía DeepLearning (DL) para NLU e NLG mediante (i) o desenvolvemento de métodos eficientes para estender a novos dominios, xéneros e idiomas os modelos existentes para os idiomas oficiais de España (castelán, catalán, eúscaro e galego) e inglés; (ii) explorar formas novas de pre-adestrar e axustar modelos de lingua dunha maneira eficiente, reducindo así a pegada de carbono asociada a adestrar os devanditos modelos; (iii) abordar as tarefas de NLU mediante a xeración de texto; (iv) abordar a explicabilidade dos modelos de lingua baseados en DL mediante tarefas de NLG; (v) desenvolver técnicas eficientes que reutilicen e reciclen modelos pre-adestrados para a tradución automática (TA); (vi) aplicar as técnicas desenvolvidas para mellorar a estado da arte en PLN; (vii) desenvolver novos conxuntos de datos de avaliación para analizar o progreso cara a un PLN responsable; (viii) xerar interese científico no proxecto mediante a organización de competicións internacionais de avaliación; e (ix) desenvolver unha serie de aplicacións de dominio avanzadas baseadas en contido para os idiomas do proxecto, en múltiples sectores e dominios. O subproxecto DeepR3.gal ten como obxectivos específicos: (i) definir (e verificar o cumprimento de) directrices e requisitos para o desenvolvemento dun PLN responsable con perspectiva ELSEC (Ética, Legal, Socioeconómica e Cultural); (ii) definir novas métricas para a avaliación intrínseca e extrínseca das tarefas de PLN; (iii) deseñar un conxunto de experimentos e datos para avaliar as capacidades lingüísticas dos modelos de lingua; e (iv) deseñar, implementar e validar sistemas de NLG baseados en DL para meteoroloxía e saúde que reutilizarán datos, corpus, know-how e modelos pre-adestrados en canto a operacións de prognóstico do tempo, información sobre o índice de calidade do aire, e enfermidades cardiovasculares e neurodexenerativas. O reto principal é a xeración de informes e alertas, con énfases nas tarefas de explicabilidade e avaliación. Modelos monolingües (enriquecidos con TA) e multilingües serán avaliados por expertos (meteorólogos ou persoal médico) e usuarios finais non só en galego senón tamén en inglés, castelán, catalán e eúscaro, en colaboración co resto de subproxectos. CiTIUS-USC liderará un Panel sobre PLN responsable (WP1), WP5 (Avaliación) e WP6 (Aplicacións e Casos de Uso) e participará activamente no resto de WPs.</p><p>Este proxecto DeepR3 (TED2021-130295B-C33) foi financiado por MCIN/AEI/10.13039/501100011033 e pola Unión Europea “NextGenerationEU”/PRTR.</p> - Marcos Garcia González, José María Alonso Moral - Senén Barro Ameneiro, Pablo Gamallo Otero, Alberto José Bugarín Diz, David Enrique Losada Carril, Alejandro Catalá Bolós, Ainhoa Vivel Couso, Javier González Corbelle
projects_gl
