Comprendre la multiplication matricielle 8 bits pour transformers
Décryptage précis de l'intégration Bitsandbytes pour réduire les besoins en calcul des modèles transformers, offrant des solutions concrètes.
À l’heure actuelle, pour faire fonctionner un modèle comme BLOOM-176B en inference, il te faudrait rien de moins que huit GPU A100 de 80 Go chacun, coûtant environ 15 000 $ pièce. Quant à entraîner ce modèle, prévois d’en utiliser 72 !
Réduction de la taille des modèles : pourquoi et comment
Les modèles de langage ne cessent de grandir, à tel point que leurs tailles deviennent un frein pour leur déploiement sur des machines accessibles. Des solutions comme la quantification des modèles en 8 bits permettent de diviser par deux l’empreinte mémoire, en maintenant des performances prédictives similaires.
Les data types en machine learning : l’enjeu de la précision
Les modèles actuels utilisent diverses précisions de données, comme le float32 (FP32) ou le float16 (FP16). Le passage à des formats plus économiques en termes de bits, comme le bfloat16 (BF16), permet de réduire la taille tout en conservant des performances adéquates. Cependant, la quantification en 8 bits va plus loin, nécessitant seulement un quart de la taille des modèles traditionnels en pleine précision.
Quantification des modèles : une approche approfondie
Avec l’intégration de la quantification 8-bit via bitsandbytes, une réduction drastique des ressources GPU est désormais possible pour les modèles lourds. L’astuce réside dans le « rounding » des valeurs de précision complète à un format plus restreint, tout en préservant la qualité de sortie du modèle.
La quantification 8 bits permet de réduire de manière significative les besoins en matériel des modèles tout en maintenant leurs performances, optimisant ainsi leur usage à grande échelle.
« Adopter l’Int8 pourrait bien redéfinir l’accès à des modèles ultra-grands, rendant accessibles des calculs autrefois réservés aux centres de données. »
Analyse lors de l’intégration sur Hugging Face
En conclusion, la multiplication matricielle en 8 bits offre une réponse aux défis posés par la taille des modèles d’apprentissage actuels. En réduisant de manière significative l’empreinte matérielle tout en conservant des performances proches de la pleine précision, cette approche change la donne pour l’implémentation concrète des IA de demain.