Fastweb + Vodafone amplierà nelle prossime settimane il supercomputer NVIDIA che gestisce dal 2024, aggiungendo sistemi NVIDIA B300 in configurazione NVL8, cioè server con otto GPU collegate tra loro. In parallelo, l'operatore ha integrato nella propria piattaforma quattro componenti software NVIDIA per l'inferenza, la misura delle prestazioni e l'addestramento dei modelli. L'offerta è rivolta a imprese e Pubbliche Amministrazioni.

Il punto di partenza è la NeXXt AI Factory, inaugurata a luglio 2024nel data center Aruba di Ponte San Pietro, in provincia di Bergamo. Il sistema è basato sull'architettura NVIDIA DGX SuperPOD e conta 31 nodi DGX H100, per un totale di 248 GPU H100. A questi, saranno aggiunti i nuovi sistemi B300 (l'azienda non ha comunicato quale potenza di calcolo aggiuntiva porteranno né in che tempi).

Il software: dall'inferenza al post-training

Oltre all'aggiornamento dell'hardware, una parte importante dell'annuncio riguarda lo stack software, che ora comprende:

• NVIDIA NIM: microservizi ottimizzati per l'inferenza che permetteranno di erogare modelli open in ambienti aziendali in modo più efficiente e scalabile.
• NVIDIA GenAI-Perf: uno strumento per misurare e ottimizzare le prestazioni dei modelli prima del passaggio in produzione.
• NVIDIA NeMo RL e NeMo Gym: librerie open source per il fine tuning e il post-training, cioè le fasi di affinamento successive all'addestramento di base. L'azienda le userà anche per migliorare il function calling – la capacità di un modello di interagire con strumenti e sistemi esterni tramite chiamate strutturate – e creare ambienti agentici per la scrittura di codice.

Fastweb + Vodafone sta inoltre sperimentando la distillazione, una tecnica che trasferisce le capacità di un modello di grandi dimensioni a uno più compatto, meno costoso da far girare in produzione.

Secondo l'azienda, sia MIIA, il modello linguistico italiano di Fastweb, sia ROSS, l'assistente basato su agenti AI sviluppato dallo spinoff NextMindLab, sono costruiti su modelli open. Un dettaglio rilevante, perché licenze e provenienza dei modelli di partenza incidono sul grado effettivo di controllo.
Fonte: DigitalWorld Italia