LINNA: Para un viés indutivo de base lingüística no modelado neuronal da linguaxe

Os actuais modelos de lingua (LMs) baseados en redes neuronais artificiais son capaces de xerar texto de alta calidade e de atinxir un rendemento destacado nunha ampla variedade de tarefas de procesamento lingüístico. O facto de que estes modelos se treinen con obxectivos simples, como a predición de palabras en contexto, e de que o texto xerado non sexa unha copia literal dos datos de treino, ten reavivado o clásico debate entre natureza e creación. Por un lado, científicas/os cognitivas/os sosteñen que os actuais LMs implementan auténticas teorías da linguaxe; polo outro, unha posición contraria afirma que os LMs son meras ferramentas computacionais sen valor para o estudo científico da linguaxe humana. Nunha postura intermedia, investigadoras/es de distintos ámbitos argumentan que, aínda que estas ferramentas non son modelos plausíbeis da linguaxe humana, poden resultar útiles para informar con cautela sobre o funcionamento da linguaxe, ao permitir explorar até que punto se poden xeneralizar as regularidades lingüísticas a partir dos datos sen coñecemento lingüístico explícito.

O que parece claro é que os actuais LMs baseados en redes neuronais son significativamente menos eficientes que o mecanismo biolóxico inherente aos humanos, que require moita menos información para adquirir unha lingua natural. Neste sentido, os humanos posúen un viés indutivo que permite a adquisición eficiente de regularidades lingüísticas e que coloca dificultades á hora de aprender estruturas que non seguen os principios das linguas naturais, ao contrario do que acontece cos LMs. Ademais da gran cantidade de datos necesaria para modelar computacionalmente a linguaxe humana, o treino dos LMs modernos require axustar millares de millóns de parámetros, o que resulta en arquitecturas extremadamente complexas e modelos computacionalmente custosos. Neste contexto, estudos recentes demostraron que unha parte significativa dun modelo de lingua pre-treinado pode ser eliminada sen afectar de maneira substancial o seu rendemento. Tamén se ten demostrado que o pre-treino dun modelo con estratexias psicolingüísticas pode mellorar tanto o seu aliñamento coa predición dos tempos de lectura como a súa capacidade de xeneralización.

Tendo isto en conta, propomos un novo método para crear unha arquitectura de rede neuronal independente da lingua (LINNA) mediante técnicas de poda e destilación dun modelo multilingüe lingüísticamente diverso. Os pesos resultantes desta arquitectura independente da lingua utilízanse como aproximación a un viés indutivo de base lingüística para treinar modelos monolingües empregando datos de pequeno tamaño e estratexias inspiradas na adquisición da linguaxe infantil.

Os actuais modelos de lingua (LMs) baseados en redes neuronais artificiais son capaces de xerar texto de alta calidade e de atinxir un rendemento destacado nunha ampla variedade de tarefas de procesamento lingüístico. O facto de que estes modelos se treinen con obxectivos simples, como a predición de palabras en contexto, e de que o texto xerado non sexa unha copia literal dos datos de treino, ten reavivado o clásico debate entre natureza e creación. Por un lado, científicas/os cognitivas/os sosteñen que os actuais LMs implementan auténticas teorías da linguaxe; polo outro, unha posición contraria afirma que os LMs son meras ferramentas computacionais sen valor para o estudo científico da linguaxe humana. Nunha postura intermedia, investigadoras/es de distintos ámbitos argumentan que, aínda que estas ferramentas non son modelos plausíbeis da linguaxe humana, poden resultar útiles para informar con cautela sobre o funcionamento da linguaxe, ao permitir explorar até que punto se poden xeneralizar as regularidades lingüísticas a partir dos datos sen coñecemento lingüístico explícito. O que parece claro é que os actuais LMs baseados en redes neuronais son significativamente menos eficientes que o mecanismo biolóxico inherente aos humanos, que require moita menos información para adquirir unha lingua natural. Neste sentido, os humanos posúen un viés indutivo que permite a adquisición eficiente de regularidades lingüísticas e que coloca dificultades á hora de aprender estruturas que non seguen os principios das linguas naturais, ao contrario do que acontece cos LMs. Ademais da gran cantidade de datos necesaria para modelar computacionalmente a linguaxe humana, o treino dos LMs modernos require axustar millares de millóns de parámetros, o que resulta en arquitecturas extremadamente complexas e modelos computacionalmente custosos. Neste contexto, estudos recentes demostraron que unha parte significativa dun modelo de lingua pre-treinado pode ser eliminada sen afectar de maneira substancial o seu rendemento. Tamén se ten demostrado que o pre-treino dun modelo con estratexias psicolingüísticas pode mellorar tanto o seu aliñamento coa predición dos tempos de lectura como a súa capacidade de xeneralización. Tendo isto en conta, propomos un novo método para crear unha arquitectura de rede neuronal independente da lingua (LINNA) mediante técnicas de poda e destilación dun modelo multilingüe lingüísticamente diverso. Os pesos resultantes desta arquitectura independente da lingua utilízanse como aproximación a un viés indutivo de base lingüística para treinar modelos monolingües empregando datos de pequeno tamaño e estratexias inspiradas na adquisición da linguaxe infantil. - CNS2024-154902 - Marcos Garcia González - Helena Pérez Puente