Thank you for sending your enquiry! One of our team members will contact you shortly.
Thank you for sending your booking! One of our team members will contact you shortly.
Struttura del corso
Introduzione ai modelli multimodali
- Panoramica dell'apprendimento automatico multimodale
- Applicazioni dei modelli multimodali
- Sfide nella gestione di più tipi di dati
Architetture per modelli multimodali
- Esplorando modelli come CLIP, Flamingo e BLIP
- Comprendere i meccanismi di attenzione cross-modale
- Considerazioni sull'architettura per la scalabilità e l'efficienza
Preparazione di set di dati multimodali
- Tecniche di raccolta e annotazione dei dati
- Pre-elaborazione di input di testo, immagini e video
- Bilanciamento dei set di dati per le attività multimodali
Tecniche di messa a punto per modelli multimodali
- Configurazione di pipeline di addestramento per modelli multimodali
- Gestione della memoria e dei vincoli computazionali
- Gestione dell'allineamento tra le modalità
Applicazioni di modelli multimodali ottimizzati
- Risposta visiva alle domande
- Didascalie di immagini e video
- Generazione di contenuti tramite input multimodali
Ottimizzazione e valutazione delle prestazioni
- Metriche di valutazione per le attività multimodali
- Ottimizzazione della latenza e del throughput per la produzione
- Garantire robustezza e coerenza tra le modalità
Distribuzione di modelli multimodali
- Modelli di creazione di pacchetti per la distribuzione
- Scalainferenza bile su piattaforme cloud
- Applicazioni e integrazioni in tempo reale
Casi di studio e laboratori pratici
- Regolazione fine di CLIP per il recupero delle immagini basato sul contenuto
- Addestramento di un chatbot multimodale con testo e video
- Implementazione di sistemi di recupero cross-modale
Riepilogo e passaggi successivi
Requisiti
- Competenza nella programmazione Python
- Comprensione dei concetti di deep learning
- Esperienza con la messa a punto di modelli pre-addestrati
Pubblico
- Ricercatori di intelligenza artificiale
- Scienziati dei dati
- Professionisti dell'apprendimento automatico
28 ore