Optimisation de l’inférence BLOOM : efficacité et défis techniques
Découvrez l'optimisation spectaculaire de l'inférence de BLOOM par Hugging Face, avec des améliorations de latence et de débit impressionnantes.
Réduire la latence par cinq et augmenter le débit par cinquante : c’est le défi que le serveur d’inférence optimisé pour BLOOM a relevé. Derrière cette prouesse technique se trouvent des semaines de travail minutieux et de nombreux obstacles surmontés par l’équipe de Hugging Face, prouvant ainsi qu’avec les bons ajustements, les grandes architectures de modèles peuvent être peaufinées pour une efficacité impressionnante.
Le développement de BLOOM : efforts et innovations
L’optimisation de l’inférence commence par le modèle lui-même. BLOOM, un modèle de 176 milliards de paramètres, nécessitait une grande accessibilité avant même de pouvoir parler d’optimisation. Formé avec Megatron-Deepspeed, son intégration dans la bibliothèque Transformers fut une tâche ardue nécessitant presque un mois et 200 commits. Cet effort monumental a ouvert la voie à des optimisations qui devaient prendre en compte les spécificités des versions PyTorch et les différences entre architectures matérielles.
Transformer l’entraînement en inférence efficace
Le portage de BLOOM vers la bibliothèque Transformers a mis en lumière des compromis cruciaux. Les différences entre bf16 et float16, comme dans le cas de la parallélisation Tensor sur les couches linéaires, ont exigé des ajustements précis. Le choix : une conformité totale au prix de la lenteur ou un gain de vitesse avec de légères divergences dans les résultats générés. Une décision clé a été de rendre ses ajustements configurables, permettant ainsi un équilibre entre performance et précision selon les besoins spécifiques.
L’optimisation de l’inférence de BLOOM a nécessité des ajustements complexes entre précision et rapidité, illustrant l’importance des compromis dans l’amélioration des modèles massifs.
Exploiter la parallélisation de manière optimale
Avec un modèle aussi immense que BLOOM, faire fonctionner l’inférence efficacement implique un minimum de 352 GB de RAM GPU. L’utilisation de la parallélisation du pipeline et l’outil Accelerate pour gérer le fractionnement du modèle entre plusieurs GPU ont été essentiels. Cette mise en œuvre pratique a permis de créer un serveur HTTP fonctionnel pour héberger le modèle, illustrant comment répartir le travail à travers les GPU peut maximiser l’utilisation des ressources matérielles disponibles.
« Optimiser BLOOM, c’était jongler entre performance et précision, tout en domptant les exigences de ressources massives. »
Nicolas Patry, Hugging Face
Mesurer et ajuster pour des résultats spectaculaires
Passé l’intégration initiale, le véritable défi réside dans la mesure continue de la performance pour s’assurer que les optimisations étaient bénéfiques. Utilisant des scripts de test de charge, comme Locust, l’équipe s’est concentrée sur deux métriques essentielles : le débit et la latence. En testant divers paramètres utilisateurs sur des sous-ensembles du modèle, ils ont pu affiner progressivement les processus pour maximiser le nombre de requêtes traitées simultanément tout en minimisant le temps de réponse moyen.
L’aboutissement de ces efforts en optimisation témoigne de la complexité et des défis inhérents à l’adaptation des modèles de grande taille pour une utilisation pratique et efficace sur des infrastructures disponibles. L’innovation continue et l’expérimentation sont au cœur de la gestion de telles architectures, et BLOOM en est la preuve vibrante.