Programa de Formación: 'Escalando a Aprendizaxe Profunda: Estratexias para o Adestramento e a Inferencia Distribuídos'

Durante a última década, a aprendizaxe profunda ten revolucionado numerosas aplicacións, impulsado por un aumento significativo no tamaño e a complexidade dos modelos. Este crecemento deu lugar a notables melloras no rendemento, pero tamén incrementou as demandas computacionales. Os modelos modernos de aprendizaxe profunda son altamente intensivos en datos, e os seus procesos de adestramento iterativos requiren recursos computacionales considerables. As agrupacións industriais de computación de alto rendemento (HPC) e as plataformas na nube, equipados con hardware especializado como as GPU, volvéronse esenciais para o despregamento destes modelos a gran escala. Esta formación explorará as metodoloxías chave da aprendizaxe profunda distribuída, que permiten a paralelización do adestramento e desbloquean todo o potencial dos modelos de gran tamaño. Discutiranse as principais técnicas empregadas no adestramento distribuído, seguidas dunha sesión práctica onde os participantes adquirirán experiencia directa con exemplos de código relevantes.

As persoas inscritas nesta actividade deberán contar cun ordenador portátil, no que terán que instalar previamente recursos indispensables para o desenvolvemento da formación.

A sesión comezará abordando as motivacións fundamentais detrás da crecente importancia da aprendizaxe profunda distribuída, particularmente no contexto da escalabilidade dos modelos modernos. Exploraranse as estratexias principais que permiten o adestramento distribuído, cun enfoque no paralelismo de datos e o paralelismo de modelos. Estes enfoques son esenciais para mellorar tanto a eficiencia como a escalabilidade no adestramento de modelos de gran tamaño.

A continuación, analizarase o ecosistema de bibliotecas e ferramentas dispoñibles para facilitar o adestramento distribuído, destacando as solucións crave para escalar os fluxos de traballo da aprendizaxe profunda. A discusión tamén se estenderá máis aló do adestramento para incluír técnicas de optimización da inferencia, como o uso de adaptadores, que permiten un despregamento eficiente de modelos grandes.

Durante a sesión práctica, os participantes obterán experiencia directa utilizando a biblioteca Distributed Data Parallel (DDP) de PyTorch. Mostrarase como distribuír o adestramento de modelos en múltiples GPUs dentro dunha agrupación industrial HPC, ofrecendo unha guía paso a paso para implementar aprendizaxe profunda distribuída nunha contorna real.

A asistencia a esta formación está limitada a 20 persoas e require inscrición.

Sobre o relator

Rocco Sedona é enxeñeiro computacional no Forschungszentrum Jülich (Centro de Investigación Jülich), Alemaña, onde forma parte do equipo de supercomputación dedicado á investigación en intelixencia artificial aplicada á observación remota da Terra. O seu traballo céntrase na optimización da aprendizaxe profunda (deep learning, DL) en contornas de alto rendemento (HPC), co obxectivo de mellorar a eficiencia no procesamento de grandes volumes de datos xeoespaciais.

Ademais do seu labor investigador, Rocco Sedona participa activamente na comunidade científica internacional. Foi organizador en conferencias de alto nivel como NeurIPS 2023 e ICML 2024, e contribuíu na avaliación científica de programas de financiamento orientados á intelixencia artificial no Jülich Supercomputing Centre. O seu enfoque multidisciplinario e a súa capacidade para conectar diferentes áreas do coñecemento posiciónano como un referente emerxente na intersección da IA, a computación de alto rendemento e a observación remota.