Accélère l'inférence LLM avec Universal Assisted Generation, une méthode agile qui réduit la latence jusqu'à 1.9x, même sans petite variante.
Dans le monde des modèles de langage géants, générer du texte rapidement reste un défi majeur. Malgré leurs milliards de paramètres, des modèles comme Llama-3.1-405B ne sont pas réputés pour leur vitesse. Toutefois, avec l’innovation d’Universal Assisted Generation, Intel Labs et Hugging Face révolutionnent l’approche. En augmentant l’inférence de ces géants par 1.5x à 2.0x, même avec un tout petit modèle assistant, cette méthode redéfinit les normes.
Comment Universal Assisted Generation change la donne
La méthode d’Assisted Generation utilise un modèle assistant plus petit et le modèle cible pour accélérer la génération de texte. Par exemple, Llama-3.2-1B peut aider Llama-3.1-70B, générant plusieurs tokens à la fois pour réduire la latence. Toutefois, le défi restait la nécessité d’un même tokenizer pour les deux modèles, limitant les options. Grâce à la traduction bidirectionnelle des tokenizers, Universal Assisted Generation s’émancipe de ces contraintes. On peut désormais coupler gemma-2-9b avec vicuna-68m, sans soucis de compatibilité de tokenizers.
Universal Assisted Generation permet un couplage flexible de modèles LLM, réduisant la latence jusqu’à 1.9x, sans besoin de variantes miniatures adaptées.
De l’amélioration marginale à la fraicheur significative
Précédemment, améliorer la vitesse d’inférence de modèles volumineux nécessitait un assistant extrêmement petit, souvent sous un milliard de paramètres, comme CodeLlama-13b qui n’avait pas de mini assistant viable. Cependant, UAG surmonte cette barrière avec une nouvelle méthode de tokenization intermodèles, garantissant une intégrité des données malgré la disparité des vocabulaires.
« UAG libère le potentiel des LLMs en exploitant pleinement les modèles assistants, indépendamment de leurs tokenizers. »
Résumé par l’auteur
Performances testées et confirmées
Dans des benchmarks récents, gemma-2-9b a montré une amélioration de vitesse de 1.76x en association avec vicuna-68m pour la tâche de résumé via ‘cnn_dailymail’. D’autres combinaisons comme Mixtral-8x22B et Qwen2-0.5B offrent également des résultats convaincants : 1.78x sur des tâches de résumé à contexte long. Au-delà des chiffres, c’est une ouverture pour les développeurs utilisant des GPUs restreints : Llama et Mixtral ont atteint ces améliorations en exploitant respectivement 2 à 4 GPUs A100, une optimisation matérielle clé.
Intégration facilitée dans les projets existants
La version 4.46.0 de 🤗 Transformers intègre UAG. Implémenter cette méthode demande simplement de passer les tokenizers propres aux modèles assistant et cible dans la fonction generate(). Un exemple simple illustre ce processus : en quelques lignes de code, vous pouvez booster votre application LLM, sans refonte complète de votre infrastructure existante.
En conclusion, Universal Assisted Generation ne se contente pas d’augmenter la vitesse d’inférence. Elle représente un tournant dans la manière d’optimiser des modèles LLM sans les lourdes exigences préalables. Pour les développeurs cherchant efficacité et compatibilité, UAG est une voie prometteuse à explorer, optimisant véritablement la performance de la génération de texte.