Optimisation de l’inférence BLOOM avec DeepSpeed et Accelerate
L'inférence ultra-rapide du modèle BLOOM avec DeepSpeed et Accelerate promet des gains significatifs en rapidité et en ressources.
La capacité du modèle BLOOM à produire une inférence rapide sur un gigantesque réseau de 176 milliards de paramètres est un défi monumental. En exploitant des plateformes comme DeepSpeed et Accelerate, on peut atteindre un débit par token étonnamment rapide, transformant la manière dont ces modèles massifs sont déployés sur le matériel GPU.
Une infrastructure matérielle optimisée pour BLOOM
Le modèle BLOOM, avec ses 352 Go de poids en bf16, trouve son meilleur partenaire dans une configuration 8x80GB A100 GPU. Ce stack matériel évite les goulets d’étranglement, et bien que les 24x32GB V100 GPU soient une alternative, l’efficacité n’est jamais entièrement optimale. L’utilisation d’un seul nœud reste techniquement la solution la plus rapide grâce à une connexion GPU intra-nœud généralement plus véloce qu’inter-nœud. Cependant, les configurations plus modestes peuvent utiliser des stratégies d’offloading NVMe ou CPU, avec un compromis sur le temps d’inférence.
Benchmarks : Vitesse et efficacité éprouvées
Les résultats sont palpables. Sur un ensemble de 8x80GB A100, DeepSpeed-Inference atteint des vitesses de génération de tokens sous 1 ms grâce à l’utilisation de Tensor Parallelism et de kernels CUDA fusionnés personnalisés. En comparaison, Accelerate, avec un pipeline plus simple, se défend bien mais ne parvient pas à surpasser DeepSpeed. Pour confirmer ces chiffres, la méthode de calcul considerait le temps réel pour générer 100 nouveaux tokens avec une taille de batch de 128, atteignant une efficacité de 0,69 ms par token.
Accélération par quantification en int8
La quantification des modèles en int8 par DeepSpeed-Inference et BitsAndBytes réduit l’empreinte mémoire GPU de moitié comparée aux inférences en bf16 ou fp16. Cela se traduit par un débit impressionnant de 2,96 ms pour une taille de batch de 64 sur des 4x80GB A100. Même si cela ralentit légèrement la vitesse, cette optimisation est un compromis très attirant pour des ressources GPU limitées.
L’inférence optimisée de BLOOM avec DeepSpeed offre une rapidité inégalée grâce à une exécution efficace sur A100 GPUs, rendant possible des performances presque en temps réel.
Maximiser les capacités avec HuggingFace Accelerate
Avec Accelerate, les modèles peuvent être initiés avec des poids vides et analysés pour une allocation stratégique des couches sur les dispositifs disponibles. Même si chaque GPU n’opère qu’un à la fois, le système offre une flexibilité d’installation sur de nombreux environnements matériels, proposant un débit modeste mais stable même avec seulement deux A100, bien que cela se fasse en 15s par token contre 10 ms sur une configuration 8x80GB.
« Utiliser DeepSpeed avec ses kernels personnalisés peut sembler complexe à configurer, mais les gains de vitesse en valent largement la peine. »
Développeur expert d’HuggingFace
En fin de compte, l’adoption de ces technologies n’est pas qu’une question de performances isolées. C’est une transformation de l’infrastructure permettant à de nouveaux projets IA d’atteindre leurs objectifs plus rapidement, avec une optimisation des ressources notable.