Optimise le temps de formation de grands modèles avec PyTorch FSDP
Prends de large modèles en main avec PyTorch FSDP et dépasse les limites actuelles d'entraînement.
En entraînant un modèle GPT-2 XL de 1,5 milliard de paramètres avec Distributed Data Parallel (DDP), la mémoire GPU est saturée, limitant les performances. Les progrès de PyTorch Fully Sharded Data Parallel (FSDP) permettent de surmonter ce déficit en maximisant l’utilisation de la mémoire des GPU, permettant ainsi l’entraînement de modèles plus grands et plus efficaces.
PyTorch FSDP : une avancée dans le traitement des grands modèles
La bibliothèque PyTorch Fully Sharded Data Parallel (FSDP) propose une nouvelle approche pour entraîner des modèles de grande taille. Là où le DDP échoue en termes de mémoire, causant des erreurs Out Of Memory, le FSDP échelonne correctement les ressources. Notamment, il permet d’entraîner le modèle GPT-2 Large avec des tailles de batchs deux à trois fois supérieures, réduisant ainsi le temps d’entraînement.
Comparaison entre DDP et FSDP : performance et efficacité
En utilisant deux GPUs NVIDIA Titan RTX de 24GB, le FSDP s’avère plus performant que le DDP traditionnel. Table 1 du blog affiche que sans offloading sur CPU, le FSDP permet de doubler voire tripler la taille des batchs par rapport à DDP, passant d’un batch max de 7 à 15 ou même 22 avec le CPU offload. Cela se traduit par une meilleure optimisation du temps de calcul disponible sur les GPUs.
PyTorch FSDP permet de maximiser l’utilisation des GPU pour entraîner des modèles de grande taille, avec une mémoire optimisée et un temps d’entraînement réduit. Cela ouvre des possibilités inédites pour les chercheurs en ML.
Offloading et précision mixte : vers une gestion mémoire optimale
Le modèle GPT-2 XL requiert une gestion mémoire encore plus subtile. L’option d’offloading vers le CPU est cruciale pour les modèles dépassant les capacités GPU. De plus, l’intégration à venir du support de précision mixte dans FSDP promet de compenser les limites actuelles de la vitesse d’entraînement tout en préservant la qualité des résultats.
Vers une API sans effort avec Accelerate
La bibliothèque Accelerate simplifie l’adoption des innovations FSDP sans changer de code. Une configuration standard de formation requiert seulement quelques ajustements, optimisant ainsi les ressources matérielles disponibles. Ce faisant, elle réduit les barrières d’accès et démocratise l’entraînement à grande échelle.
« FSDP offre une réduction notable des barrières techniques nécessaires à l’entraînement de modèles étendus, révélant le potentiel des hardwares existants. »
Sourab Mangrulkar et Sylvain Gugger, Hugging Face
En conclusion, PyTorch FSDP représente une avancée incontournable pour quiconque cherche à repousser les limites de l’entraînement des modèles ML. En diminuant les problèmes de mémoire et en augmentant les batch sizes, il permet des entraînements plus rapides, tout en s’insérant facilement dans les flux de travail existants via Accelerate. Les équipes connectées à l’IA qui exploitent les grands modèles doivent envisager de basculer vers le FSDP pour une efficience accélérée.