Optimisation de génération avec la quantification du cache KV
Comment Hugging Face révolutionne le traitement des LLMs avec une quantification innovante du cache de clés et valeurs.
·
3 min
generation optimisée