Struttura del corso

Introduzione

  • Panoramica delle sfide di scalabilità del deep learning
  • Panoramica di DeepSpeed e delle sue caratteristiche
  • DeepSpeed rispetto ad altre librerie di deep learning distribuite

Introduttiva

  • Configurazione dell'ambiente di sviluppo
  • Installazione di PyTorch e DeepSpeed
  • Configurazione di DeepSpeed per la formazione distribuita

Funzionalità di ottimizzazione DeepSpeed

  • Pipeline di formazione DeepSpeed
  • ZeRO (ottimizzazione della memoria)
  • Checkpoint di attivazione
  • Checkpoint del gradiente
  • Parallelismo della pipeline

Ridimensionamento dei modelli con DeepSpeed

  • Ridimensionamento di base con DeepSpeed
  • Tecniche avanzate di ridimensionamento
  • Considerazioni sulle prestazioni e best practice
  • Tecniche di debug e risoluzione dei problemi

Argomenti avanzati di DeepSpeed

  • Tecniche avanzate di ottimizzazione
  • Utilizzo di DeepSpeed con l'allenamento di precisione misto
  • DeepSpeed su hardware diversi (ad es. GPU, TPU)
  • DeepSpeed con più nodi di formazione

Integrazione di DeepSpeed con PyTorch

  • Integrazione di DeepSpeed con i flussi di lavoro PyTorch
  • Utilizzo di DeepSpeed con PyTorch Lightning

Risoluzione dei problemi

  • Debug dei problemi comuni di DeepSpeed
  • Monitoraggio e registrazione

Riepilogo e passaggi successivi

  • Riepilogo dei concetti e delle caratteristiche chiave
  • Best practice per l'utilizzo di DeepSpeed in produzione
  • Ulteriori risorse per saperne di più su DeepSpeed

Requisiti

  • Conoscenza intermedia dei principi del deep learning
  • Esperienza con PyTorch o framework di deep learning simili
  • Familiarità con la programmazione Python

Pubblico

  • Scienziati dei dati
  • Ingegneri dell'apprendimento automatico
  • Gli sviluppatori
 21 ore

Numero di Partecipanti


Prezzo per Partecipante

Corsi in Arrivo

Categorie relative