Optimisation des Transformers vLLM : Rapide et Puissant
Transformers tape dans le mille avec une vitesse native dans vLLM. Découvrez comment cette avancée booste vos modèles ML.
Ce n’est pas tous les jours qu’une bibliothèque parvient à égaler voire surpasser les optimisations sur-mesure. Les Transformers de Hugging Face ont récemment atteint cette prouesse en permettant à leurs modèles de se comporter aussi bien – sinon mieux – que les implémentations natives de vLLM. Une avancée sans surcharge de code pour les auteurs de modèles, qui peuvent désormais bénéficier d’inférences ultra-rapides sans coût supplémentaire.
La performance native enfin à portée
Le backend des Transformers vLLM procure désormais des performances égales ou supérieures à celles des implémentations vLLM personnalisées pour des architectures variées, grâce à l’optimisation améliorée d’inférences comme le batching continu et les noyaux d’attention personnalisés. Cette avancée s’étend à des modèles tels que le Qwen3, à travers différentes configurations matérielles – de 4B dense sur GPU unique à 235B FP8 en mode paralélisme expert sur 8 nœuds.
Comment utiliser le backend Transformers
Pour exploiter cette avancée, une simple commande suffit : vllm serve Qwen/Qwen3-4B --model-impl transformers. Cela permet de tirer parti des options de parallélisme sans modifier l’infrastructure. Attention, les modèles utilisant l’attention linéaire ne sont pas encore pris en charge mais le seront bientôt.
Les Transformers de Hugging Face optimisent désormais l’inférence dans vLLM sans effort supplémentaire. Ils atteignent une vitesse native tout en conservant la flexibilité d’entraînement d’origine.
Le secret de l’optimisation
Transformer un modèle en un outil ultra-performant relève de l’art. Les nouvelles mises à jour appliquent des fusions dynamiques de couches spécifiques à l’inférence. En analysant statiquement le graphe du modèle via torch.fx, et en réécrivant le code source pour optimiser des opérations, la performance approche celle des implémentations codées à la main.
« Les opérations fusionnées permettent de mapper plusieurs opérations en une version (ultra) optimisée des noyaux vLLM. »
L’article original
Impact pour les développeurs ML
Cette évolution majeure simplifie la vie des développeurs ML. Auparavant, la quête de performances optimales nécessitait une double intégration des modèles – une pour Transformers, une autre pour vLLM custom. Désormais, un modèle intégré aux Transformers peut immédiatement performer à la vitesse des implémentations natives vLLM.
Plus besoin de réécrire : les nouvelles méthodes optimisent le code original pour l’inférence tout en permettant le même code pour l’entraînement.