Hugging Face intègre Flash Attention 2 pour doubler le throughput d'entraînement. Découvrez comment optimiser vos modèles dès maintenant.
Dans le monde de l’entraînement des modèles de machine learning, le compromis entre efficacité et précision est souvent délicat. Pourtant, avec l’introduction de la compatibilité de Hugging Face avec Flash Attention 2, cette problématique pourrait bien être allégée. Considère ceci : un simple ajustement dans la façon dont tu gères tes séquences d’entrée peut augmenter le throughput de ton entraînement jusqu’à 2x. Oui, tu as bien lu — deux fois plus rapide.
Flash Attention 2 : Une nouvelle ère pour l’entraînement de modèles
Focus sur Flash Attention 2, une avancée technique qui permet de traiter des flux de données sans recours aux tokens de remplissage inutiles. Jusqu’à récemment, ce processus introduisait des inefficacités notables. Grâce à une mise à jour à travers un PR récent chez Hugging Face, la méthode DataCollatorWithFlattening offre une solution en considérant les limites des exemples lors de leur assemblage.
Moins de padding, plus d’efficacité
L’un des problèmes majeurs résolus est celui du remplissage inefficace. Avec DataCollatorWithFlattening, chaque séquence est collée dans un simple tenseur tout en prenant en compte les limites des exemplaires grâce à la fonction flash_attn_varlen_func. Imaginons que tu travailles avec des datasets comme FLAN ou OrcaMath : tu pourras désormais observer une augmentation de throughput, avec un gain de 2x pour FLAN et 1,4x pour OrcaMath. Des modèles tels que llama2-7B ou mistral-7B profitent déjà de cette avancée.
Avec Flash Attention 2, Hugging Face optimise le throughput d’entraînement de modèles jusqu’à deux fois, sans réduction de la qualité de convergence, et réduit le pic d’utilisation de la mémoire.
Des bénéfices mesurables en mémoire et performance
Le bénéfice ne s’arrête pas au throughput. La nouvelle approche permet également une diminution du pic d’utilisation de la mémoire de 20% pour le dataset FLAN. OrcaMath, bien que moins significatif, bénéficie d’un gain de 6%. Cette optimisation se fait sans compromettre la convergence puisque le nombre de pas d’optimisation demeure inchangé.
Mise en œuvre simple pour les développeurs
Prêt à implémenter cette amélioration? C’est d’une simplicité exemplaire. Pour les utilisateurs de Trainer, il suffit d’utiliser le DataCollatorWithFlattening. Pour ceux qui préfèrent SFTTrainer, la seule manipulation supplémentaire est de mettre padding_free=True. Le coût d’entrée est faible, mais les gains sont potentiellement conséquents.