AutoRound : Quantification innovante d’Intel pour LLMs et VLMs

Alors que les modèles de langage de grande taille (LLMs) et les modèles de vision-langage (VLMs) gagnent en complexité, leur déploiement efficace s’avère de plus en plus difficile. Intel présente AutoRound, une solution de quantification qui réduit la taille des modèles tout en maintenant une latence d’inférence minimale, offrant ainsi une combinaison d’exactitude et d’efficacité.

AutoRound : Une précision exceptionnelle à basse précision

AutoRound se distingue par sa capacité à fournir une quantification précise même à des résolutions de bits faibles. En pratique, il surpasse les méthodes populaires de jusqu’à 2,1 fois à une précision de 2 bits. Cette méthode de post-quantification optimise le processus de rognage des poids et des plages de quantification avec une perte de précision minimale.

Compatibilité étendue pour modèles et appareils

L’un des atouts majeurs d’AutoRound est sa compatibilité avec la plupart des architectures populaires de LLM comme Qwen et LLaMA, ainsi que plus de 10 modèles VLM. Ces modèles optimisés sont accessibles via Hugging Face, facilitant l’intégration pour les développeurs.

Efficacité et flexibilité de la quantification

AutoRound ne nécessite que 200 étapes de réglage et une petite base de calibration pour atteindre une précision élevée, le tout en 37 minutes pour un modèle de 72B sur un GPU A100. Comparativement à d’autres méthodes int2, AutoRound est nettement plus rapide et moins gourmand en ressources.

« AutoRound révolutionne la quantification des modèles en étant à la fois rapide et précis. »

Développeur d’Intel

Intel AutoRound s’impose comme un outil indispensable pour les infrastructures qui cherchent à maintenir une balance entre performance et utilisation efficace des ressources. Avec sa capacité à maximiser l’efficacité et minimiser les pertes de précision, AutoRound s’inscrit comme une optimisation précieuse pour le futur des modèles de langage avancés.