El congreso internacional EPIA2024 premia 'Carvalho_pt-gl', un innovador modelo generativo de lenguaje bilingüe para gallego y portugués diseñado en el CiTIUS
Un modelo generativo capaz de procesar y generar contenido en gallego y portugués, desarrollado por el CiTIUS en el marco del Proyecto Nós, acaba de ser galardonado con el 'Best Application Paper Award' en el congreso internacional EPIA2024, marcando un hito para la diversidad lingüística en la inteligencia artificial.
El congreso internacional sobre inteligencia artificial EPIA2024, celebrado entre el 3 y el 6 de septiembre en la localidad portuguesa de Viana do Castelo, ha reconocido con el Best Application Paper Award el artículo 'A Galician-Portuguese Generative Model'; un trabajo liderado desde la Universidad de Santiago de Compostela por el investigador Pablo Gamallo en el marco del Proyecto Nós. financiado por la Consellería de Cultura, Lingua e Xuventude da Xunta de Galicia y desarrollado por el CiTIUS y el Instituto de la Lengua Gallega de la USC (ILG). En él, el equipo investigador presenta un innovador modelo de lenguaje generativo basado en las variantes gallega y portuguesa, lo que supone un avance significativo en la integración de estas lenguas en los modelos de inteligencia artificial.
El modelo, conocido como Carvalho_pt-gl, está disponible en libre descarga desde la red, y ha sido diseñado específicamente para procesar y generar contenido en gallego y portugués europeo, dos variedades lingüísticas estrechamente relacionadas, pero poco representadas en los actuales modelos multilingües. El equipo de investigación, compuesto por expertos del CiTIUS (Universidad de Santiago de Compostela), la Universidad de Évora, y la Universitat Pompeu Fabra, utilizó una arquitectura de GPT con 1.300 millones de parámetros y más de 6.000 millones de palabras balanceadas entre ambas lenguas. Todo un desafío en el qu participa el centro (cofinanciado por la Unión Europea mediante el Programa Galicia FEDER 2021-2027) enmarcado también dentro del proyecto ILENIA (Impulso de la Lenguas en la Inteligencia Artificial) dentro del PERTE 'Nueva Economía de la Lengua' financiado por el Ministerio para la Transformación Digital y de la Función Pública del Gobierno de España.
Pablo Gamallo explica que «el modelo fue entrenado en el supercomputador Finisterrae III del CESGA» -Centro de Supercomputación de Galicia-, «usando una estrategia de preentrenamiento continuo que ha permitido adaptar un modelo multilingüe preexistente, lo que ayudó mucho a superar las limitaciones de datos que habrían surgido si el entrenamiento hubiese comenzado desde cero». El máximo responsable de Carvalho_pt-gl destaca asimismo que «tras evaluar los resultados obtenidos con benchmarks estandarizados» -un conjunto de pruebas y referencias que se utilizan para evaluar y comparar el rendimiento de los modelos de lenguaje- «vemos que muestran un rendimiento prometedor, al tiempo que refuerzan la importancia de promover la diversidad lingüística en los modelos generativos».
La concesión del Best Application Paper Award en un congreso de la magnitud del EPIA2024 subraya el impacto y la relevancia de este trabajo en el panorama de la inteligencia artificial. El artículo pone en evidencia la necesidad de desarrollar tecnologías inclusivas y multiculturales que respeten la diversidad lingüística, aportando soluciones innovadoras para lenguas minoritarias o menos representadas como el gallego y el portugués.
Junto a Pablo Gamallo, en el equipo de Carvalho_pt-gl han participado también Pablo Rodríguez, Susana Sotelo, Silvia Paniagua, Daniel Bardanca, José Ramom Pichel y Senén Barro (CiTIUS, Proyecto Nós), así como Daniel Santos, Nuno Miquelina, Daniela Schmidt, Víctor Nogueira y Paulo Quaresma (Universidad de Évora), e Iria de-Dios-Flores, (Universitat Pompeu Fabra).
Sobre EPIA
El encuentro EPIA (Encuentro Português de Inteligência Artificial) es un congreso científico internacional que se celebra anualmente, y centra sus esfuerzos en los últimos avances y aplicaciones de la inteligencia artificial. Organizado por la Asociación Portuguesa para la Inteligencia Artificial (APPIA), el evento reúne a investigadores y expertos de todo el mundo para compartir conocimientos, discutir investigaciones innovadoras y promover colaboraciones en diversas áreas de la IA. La edición de 2024 tuvo lugar del 3 al 6 de septiembre, consolidándose como uno de los encuentros más importantes del ámbito en el sur de Europa.
El congreso internacional sobre inteligencia artificial EPIA2024, celebrado entre el 3 y el 6 de septiembre en la localidad portuguesa de Viana do Castelo, ha reconocido con el Best Application Paper Award el artículo 'A Galician-Portuguese Generative Model'; un trabajo liderado desde la Universidad de Santiago de Compostela por el investigador Pablo Gamallo en el marco del Proyecto Nós. financiado por la Consellería de Cultura, Lingua e Xuventude da Xunta de Galicia y desarrollado por el CiTIUS y el Instituto de la Lengua Gallega de la USC (ILG). En él, el equipo investigador presenta un innovador modelo de lenguaje generativo basado en las variantes gallega y portuguesa, lo que supone un avance significativo en la integración de estas lenguas en los modelos de inteligencia artificial.
El modelo, conocido como Carvalho_pt-gl, está disponible en libre descarga desde la red, y ha sido diseñado específicamente para procesar y generar contenido en gallego y portugués europeo, dos variedades lingüísticas estrechamente relacionadas, pero poco representadas en los actuales modelos multilingües. El equipo de investigación, compuesto por expertos del CiTIUS (Universidad de Santiago de Compostela), la Universidad de Évora, y la Universitat Pompeu Fabra, utilizó una arquitectura de GPT con 1.300 millones de parámetros y más de 6.000 millones de palabras balanceadas entre ambas lenguas. Todo un desafío en el qu participa el centro (cofinanciado por la Unión Europea mediante el Programa Galicia FEDER 2021-2027) enmarcado también dentro del proyecto ILENIA (Impulso de la Lenguas en la Inteligencia Artificial) dentro del PERTE 'Nueva Economía de la Lengua' financiado por el Ministerio para la Transformación Digital y de la Función Pública del Gobierno de España.
Pablo Gamallo explica que «el modelo fue entrenado en el supercomputador Finisterrae III del CESGA» -Centro de Supercomputación de Galicia-, «usando una estrategia de preentrenamiento continuo que ha permitido adaptar un modelo multilingüe preexistente, lo que ayudó mucho a superar las limitaciones de datos que habrían surgido si el entrenamiento hubiese comenzado desde cero». El máximo responsable de Carvalho_pt-gl destaca asimismo que «tras evaluar los resultados obtenidos con benchmarks estandarizados» -un conjunto de pruebas y referencias que se utilizan para evaluar y comparar el rendimiento de los modelos de lenguaje- «vemos que muestran un rendimiento prometedor, al tiempo que refuerzan la importancia de promover la diversidad lingüística en los modelos generativos».
La concesión del Best Application Paper Award en un congreso de la magnitud del EPIA2024 subraya el impacto y la relevancia de este trabajo en el panorama de la inteligencia artificial. El artículo pone en evidencia la necesidad de desarrollar tecnologías inclusivas y multiculturales que respeten la diversidad lingüística, aportando soluciones innovadoras para lenguas minoritarias o menos representadas como el gallego y el portugués.
Junto a Pablo Gamallo, en el equipo de Carvalho_pt-gl han participado también Pablo Rodríguez, Susana Sotelo, Silvia Paniagua, Daniel Bardanca, José Ramom Pichel y Senén Barro (CiTIUS, Proyecto Nós), así como Daniel Santos, Nuno Miquelina, Daniela Schmidt, Víctor Nogueira y Paulo Quaresma (Universidad de Évora), e Iria de-Dios-Flores, (Universitat Pompeu Fabra).
Sobre EPIA
El encuentro EPIA (Encuentro Português de Inteligência Artificial) es un congreso científico internacional que se celebra anualmente, y centra sus esfuerzos en los últimos avances y aplicaciones de la inteligencia artificial. Organizado por la Asociación Portuguesa para la Inteligencia Artificial (APPIA), el evento reúne a investigadores y expertos de todo el mundo para compartir conocimientos, discutir investigaciones innovadoras y promover colaboraciones en diversas áreas de la IA. La edición de 2024 tuvo lugar del 3 al 6 de septiembre, consolidándose como uno de los encuentros más importantes del ámbito en el sur de Europa.
