Découvrez comment KVPress réduit l'empreinte mémoire des contextes longs des LLMs. Un atout majeur pour le déploiement efficace des modèles.
Les modèles de langage massif (LLMs) ne cessent de croître en capacité, notamment grâce à l’élargissement de leurs fenêtres contextuelles. Cependant, cette avancée augmente aussi l’empreinte mémoire, rendant leur déploiement complexe. Par exemple, le modèle Llama 3-70B nécessite 330 Go pour un cache KV de 1 million de tokens — une exigence souvent intenable. Ici entre en jeu KVPress de NVIDIA, qui propose des techniques innovantes de compression pour optimiser la mémoire.
Comprendre le rôle du cache KV dans les LLMs
Dans les modèles autoregressifs, chaque token généré repose sur la représentation de tous les tokens précédents. Pour pallier les inefficacités de calcul, le cache KV stocke les résultats intermédiaires des couches d’attention. Ainsi, le modèle peut réutiliser ces données au lieu de les recalculer. Mais cette méthode conduit à une consommation mémoire qui croît linéairement avec la taille de la fenêtre contextuelle, comme le montre le calcul pour Llama 3-70B : 327,6 Go juste pour le cache KV.
Problèmes de mise à l’échelle du cache KV
Alors que le cache KV est essentiel, sa mémoire augmente fortement avec la taille de la fenêtre contextuelle, défiant les capacités des infrastructures actuelles. À bfloat16, chaque paramètre utilise 2 octets. Ainsi, pour manipuler des contextes étendus, le modèle entier peut nécessiter environ 470 Go de mémoire, le cache KV représentant à lui seul 70 % de ce total.
Comment KVPress allège la charge mémoire
KVPress, développé par NVIDIA, offre une solution avec des algorithmes de compression avancés, appelés presses, qui réduisent l’empreinte mémoire sans compromettre la qualité des sorties. Par exemple, le KnormPress émonde les paires KV avec les normes de clé les plus basses. Intégrés grâce à des hooks de transfert, ces presses s’adaptent dynamiquement pendant la génération de texte.
« KVPress propose une intégration fluide de techniques de compression, permettant une application et une expérimentation simplifiées. »
NVIDIA
La flexibilité du framework KVPress
KVPress s’adresse à la fois aux chercheurs et aux développeurs avec des fonctionnalités étendables et un cadre modulable. Par exemple, l’ExpectedAttentionPress émonde les paires KV à faible poids d’attention prévu, réduisant ainsi la charge sans sacrifier la cohérence. Les développeurs peuvent facilement exploiter ces techniques via une pipeline personnalisée dans Transformers.
KVPress de NVIDIA est une réponse novatrice aux défis mémoriels des LLMs avec des contextes étendus. En compressant efficacement le cache KV, il optimise les déploiements tout en garantissant des performances solides.
KVPRESS marque une étape cruciale vers l’optimisation des modèles de langage massif, rendant leur déploiement plus accessible et moins gourmand en ressources. Son approche modulaire et adaptée permet à la fois recherche et intégration facile, un atout face aux défis croissants posés par l’extension des fenêtres contextuelles.