Intelligenza artificiale scalabile

Obiettivi formativi

L’insegnamento si propone di fornire agli studenti conoscenze e competenze sullo sviluppo di sistemi di AI scalabili. Dopo una iniziale panoramica sui fondamenti architetturali per il calcolo distribuito e ad alte prestazioni, l’insegnamento offre poi una dettagliata panoramica sullo stato dell'arte delle tecniche, degli operatori e dei modelli di Deep Learning large-scale orientati alla comprensione visuale, alla comprensione e alla generazione di testo, alla gestione di serie temporali e all'integrazione di multiple modalità, con particolare riferimento al modello a Transformer e le sue derivazioni. Infine, sono presentate le tecniche per l'addestramento di reti su larga scala e su dataset di dimensioni massive e presentati gli ambienti HPC e le tecniche di scheduling delle risorse.

L’insegnamento contribuisce anche al potenziamento delle capacità trasversali Autonomia di giudizio, Abilità comunicative e Capacità di apprendimento degli studenti.

Risultati di apprendimento attesi

• Conoscenza delle strategie per il deployment ottimizzato di architetture neurali.
• Conoscenza avanzate per progettare, implementare e ottimizzare modelli e sistemi di intelligenza artificiale in ambienti ad alta scalabilità.
• Conoscenza degli approcci per la parallelizzazione e l’elaborazione distribuita di algoritmi di machine learning e deep learning.
• Capacità di prototipare, sviluppare e allenare modelli di Deep Learning su larga scala e con dataset di grandi dimensioni, con particolare riferimento all'utilizzo di cluster distribuiti.
• Capacità di sviluppo autonomo di reti neurali e algoritmi di Deep Learning distribuiti in PyTorch.

Contenuti dell’insegnamento

• Hardware e fondamenta architettoniche per l'IA su larga scala;
• Stato dell’arte delle architetture di deep learning  per la visione computerizzata, l'elaborazione del linguaggio naturale e il multimediale;
• Approcci di formazione auto- e semi-supervisionati per dati su larga scala;
• Formazione distribuita nell'ambiente PyTorch;
• Tecniche di formazione per modelli su larga scala;
• Introduzione agli ambienti HPC;
• Attività di laboratorio dedicata all’implementazione e ottimizzazione di modelli AI su larga scala attraverso sistemi AI scalabili su piattaforme cloud come AWS, Google Cloud o Microsoft Azure, all’addestramento di modelli AI su cluster. Inoltre, durante le attività di laboratorio e all’implementazione di attività di valutazione e ottimizzazione di modelli su dataset reali per ridurre i tempi di esecuzione e migliorare l’efficienza.

Modalità di verifica

L’esame finale può essere sostenuto in forma scritta o in forma orale.

L’esame scritto consiste nello svolgimento di un test a risposta multipla con 31 domande, così da garantire la possibilità di conseguire la lode.

L’esame orale consiste in un colloquio nel corso del quale il docente formula almeno tre domande.

I quesiti sono formulati per valutare il livello di raggiungimento dei risultati di apprendimento attesi.

Il voto finale tiene conto del voto ottenuto dallo studente attraverso la partecipazione alla didattica interattiva e del voto ottenuto nell’esame finale ed è determinato, quindi, dalla somma delle due valutazioni. Il voto finale è espresso in trentesimi.