LINNA: Hacia un sesgo inductivo de base lingüística para el modelado neuronal del lenguaje

Los modelos de lengua actuales (LMs), basados en redes neuronales artificiales, son capaces de generar texto de alta calidad y de ofrecer un rendimiento sobresaliente en una amplia variedad de tareas de procesamiento lingüístico. El hecho de que estos modelos se entrenen con objetivos simples, como predecir palabras en contexto, y que el texto generado no sea una simple copia de los datos de entrenamiento, ha reavivado el clásico debate entre naturaleza y crianza. Por un lado, algunas/os científicas/os cognitivas/os consideran que los modelos actuales implementan teorías genuinas sobre el lenguaje, mientras que, por otro lado, existe una postura contraria que sostiene que estos modelos no son más que herramientas computacionales sin valor para el estudio científico del lenguaje humano. En una posición intermedia, diversas/os investigadoras/es de distintos ámbitos sostienen que, si bien estas herramientas no constituyen modelos verosímiles del lenguaje humano, pueden resultar útiles para informar, con cautela, modelos sobre el funcionamiento de la lengua, ya que permiten explorar hasta qué punto las regularidades lingüísticas pueden generalizarse a partir de los datos, sin necesidad de un conocimiento lingüístico explícito.

Lo que sí parece claro es que los LMs actuales basados en redes neuronales son significativamente menos eficientes que el mecanismo biológico inherente al ser humano, el cual requiere una cantidad sustancialmente menor de datos para adquirir una lengua natural. En este sentido, los humanos poseemos un sesgo inductivo que posibilita la adquisición eficiente de regularidades lingüísticas y que, al mismo tiempo, dificulta el aprendizaje de estructuras que no se ajustan a los principios de las lenguas naturales, a diferencia de lo que ocurre con los modelos actuales. Es importante señalar que, además de la gran cantidad de datos necesarios para modelar computacionalmente el lenguaje humano, el entrenamiento de los LMs actuales implica el ajuste de varios miles de millones de parámetros, lo que da lugar a arquitecturas extremadamente complejas y modelos con un coste computacional elevado. En este contexto, investigaciones recientes han demostrado que se puede eliminar una parte significativa de un modelo de lengua preentrenado sin que ello tenga un impacto notable en su rendimiento. Asimismo, se ha demostrado que el preentrenamiento de un modelo utilizando estrategias psicolingüísticas puede mejorar su alineación con la predicción de tiempos de lectura y su capacidad de generalización.

Teniendo todo esto en cuenta, proponemos un novedoso método para crear una arquitectura de red neuronal independiente del idioma (LINNA), mediante la poda y destilación de un modelo multilingüe lingüísticamente diverso. Los pesos resultantes de esta arquitectura independiente de la lengua se utilizan como una aproximación a un sesgo inductivo basado en principios lingüísticos, con el fin de entrenar modelos monolingües utilizando datos de entrenamiento a pequeña escala y estrategias inspiradas en la adquisición del lenguaje infantil.

Los modelos de lengua actuales (LMs), basados en redes neuronales artificiales, son capaces de generar texto de alta calidad y de ofrecer un rendimiento sobresaliente en una amplia variedad de tareas de procesamiento lingüístico. El hecho de que estos modelos se entrenen con objetivos simples, como predecir palabras en contexto, y que el texto generado no sea una simple copia de los datos de entrenamiento, ha reavivado el clásico debate entre naturaleza y crianza. Por un lado, algunas/os científicas/os cognitivas/os consideran que los modelos actuales implementan teorías genuinas sobre el lenguaje, mientras que, por otro lado, existe una postura contraria que sostiene que estos modelos no son más que herramientas computacionales sin valor para el estudio científico del lenguaje humano. En una posición intermedia, diversas/os investigadoras/es de distintos ámbitos sostienen que, si bien estas herramientas no constituyen modelos verosímiles del lenguaje humano, pueden resultar útiles para informar, con cautela, modelos sobre el funcionamiento de la lengua, ya que permiten explorar hasta qué punto las regularidades lingüísticas pueden generalizarse a partir de los datos, sin necesidad de un conocimiento lingüístico explícito. Lo que sí parece claro es que los LMs actuales basados en redes neuronales son significativamente menos eficientes que el mecanismo biológico inherente al ser humano, el cual requiere una cantidad sustancialmente menor de datos para adquirir una lengua natural. En este sentido, los humanos poseemos un sesgo inductivo que posibilita la adquisición eficiente de regularidades lingüísticas y que, al mismo tiempo, dificulta el aprendizaje de estructuras que no se ajustan a los principios de las lenguas naturales, a diferencia de lo que ocurre con los modelos actuales. Es importante señalar que, además de la gran cantidad de datos necesarios para modelar computacionalmente el lenguaje humano, el entrenamiento de los LMs actuales implica el ajuste de varios miles de millones de parámetros, lo que da lugar a arquitecturas extremadamente complejas y modelos con un coste computacional elevado. En este contexto, investigaciones recientes han demostrado que se puede eliminar una parte significativa de un modelo de lengua preentrenado sin que ello tenga un impacto notable en su rendimiento. Asimismo, se ha demostrado que el preentrenamiento de un modelo utilizando estrategias psicolingüísticas puede mejorar su alineación con la predicción de tiempos de lectura y su capacidad de generalización. Teniendo todo esto en cuenta, proponemos un novedoso método para crear una arquitectura de red neuronal independiente del idioma (LINNA), mediante la poda y destilación de un modelo multilingüe lingüísticamente diverso. Los pesos resultantes de esta arquitectura independiente de la lengua se utilizan como una aproximación a un sesgo inductivo basado en principios lingüísticos, con el fin de entrenar modelos monolingües utilizando datos de entrenamiento a pequeña escala y estrategias inspiradas en la adquisición del lenguaje infantil. - CNS2024-154902 - Marcos Garcia González - Helena Pérez Puente