Domyn, capofila del consorzio EUROPA insieme a Fraunhofer IAIS e IIS, ha dimostrato la fattibilità dell’addestramento di EUROPA, il modello di intelligenza artificiale open di frontiera sostenuto dalla Commissione europea, su una scala prossima al trilione di parametri. Il lavoro è stato svolto su JUPITER, il supercomputer tedesco finanziato con fondi pubblici.
Il modello in questione conta circa 952 miliardi di parametri. I parametri sono i valori che un modello apprende durante l’addestramento per riconoscere schemi ricorrenti e generare risposte: un numero maggiore corrisponde generalmente a maggiori capacità, e oggi i modelli di frontiera più avanzati raggiungono il trilione di parametri e oltre.
Il risultato indica che l’Europa può puntare allo sviluppo di modelli di AI avanzati anche sfruttando infrastrutture pubbliche già esistenti. Restano comunque necessari più data center, maggiori investimenti, più ambizione e tempo per consolidare la capacità europea nel settore; l’uso più efficace delle risorse disponibili è un’opportunità che si affianca a questi investimenti, non li sostituisce.
Invece di ricorrere a un cluster costruito appositamente, il team ha utilizzato JUPITER, già operativo a Jülich, in Germania. Gli ingegneri di Domyn hanno riprogettato lo stack tecnologico per l’addestramento, basandosi su PyTorch e TorchTitan e impiegando 384 GPU NVIDIA GH200 per ciascuna replica del modello addestrata in parallelo.
Durante il lavoro la velocità di elaborazione in fase di addestramento è aumentata di 14 volte, passando da 90 a circa 1.300 token al secondo per GPU. Con questi valori, il pre-addestramento di un modello da un trilione di parametri richiederebbe circa quattro mesi. È stata così definita una configurazione operativa in vista dell’esecuzione completa dell’addestramento.
Domyn ha pubblicato nel proprio blog tecnico la configurazione utilizzata, le metodologie ingegneristiche sviluppate e i risultati misurati. Il team ha inoltre contribuito con correzioni a PyTorch e TorchTitan, perché anche altri sviluppatori possano beneficiarne.
La condivisione di questi metodi può permettere a un numero maggiore di team di valorizzare gli investimenti europei nel supercalcolo pubblico e di sviluppare modelli di intelligenza artificiale propri.
