Struttura del corso

Introduzione ai modelli multimodali

  • Panoramica dell'apprendimento automatico multimodale
  • Applicazioni dei modelli multimodali
  • Sfide nella gestione di più tipi di dati

Architetture per modelli multimodali

  • Esplorando modelli come CLIP, Flamingo e BLIP
  • Comprendere i meccanismi di attenzione cross-modale
  • Considerazioni sull'architettura per la scalabilità e l'efficienza

Preparazione di set di dati multimodali

  • Tecniche di raccolta e annotazione dei dati
  • Pre-elaborazione di input di testo, immagini e video
  • Bilanciamento dei set di dati per le attività multimodali

Tecniche di messa a punto per modelli multimodali

  • Configurazione di pipeline di addestramento per modelli multimodali
  • Gestione della memoria e dei vincoli computazionali
  • Gestione dell'allineamento tra le modalità

Applicazioni di modelli multimodali ottimizzati

  • Risposta visiva alle domande
  • Didascalie di immagini e video
  • Generazione di contenuti tramite input multimodali

Ottimizzazione e valutazione delle prestazioni

  • Metriche di valutazione per le attività multimodali
  • Ottimizzazione della latenza e del throughput per la produzione
  • Garantire robustezza e coerenza tra le modalità

Distribuzione di modelli multimodali

  • Modelli di creazione di pacchetti per la distribuzione
  • Scalainferenza bile su piattaforme cloud
  • Applicazioni e integrazioni in tempo reale

Casi di studio e laboratori pratici

  • Regolazione fine di CLIP per il recupero delle immagini basato sul contenuto
  • Addestramento di un chatbot multimodale con testo e video
  • Implementazione di sistemi di recupero cross-modale

Riepilogo e passaggi successivi

Requisiti

  • Competenza nella programmazione Python
  • Comprensione dei concetti di deep learning
  • Esperienza con la messa a punto di modelli pre-addestrati

Pubblico

  • Ricercatori di intelligenza artificiale
  • Scienziati dei dati
  • Professionisti dell'apprendimento automatico
 28 ore

Numero di Partecipanti


Prezzo per Partecipante

Corsi in Arrivo

Categorie relative