Liger GRPO réduit de 40% la mémoire pour l'optimisation des politiques, rendant le RL plus accessible.
Réduire de 40% l’utilisation de la mémoire sans sacrifier la qualité d’un modèle, c’est le défi relevé par le Liger GRPO. Cette avancée touche au cœur de l’optimisation des politiques en apprentissage par renforcement (RL), rendant enfin accessible des modèles massifs tels que les GRPO sur des configurations matérielles plus limitées.
Réduction de mémoire grâce au noyau Liger
La mémoire GPU, souvent un goulot d’étranglement, subit une cure d’amaigrissement avec l’approche Chunked Loss de Liger pour le GRPO. Contrairement aux méthodes traditionnelles, cette technique segmente les entrées, évitant le stockage des logits complets. Résultat : une diminution significative de la mémoire utilisée pendant l’entraînement. D’ailleurs, avec l’implémentation du calcul des gradients en temps réel, chaque segment alimente progressivement le modèle, réduisant encore la pression mémoire.
L’optimisation mémoire offerte par Liger GRPO réduit de 40% l’utilisation pour un RL plus efficient, notamment à travers le déploiement sur plusieurs GPU avec FSDP et PEFT.
Intégration simplifiée avec TRL
L’intégration à TRL simplifie également cette avancée. En activant simplement use_liger_loss dans la configuration, les développeurs peuvent directement bénéficier de ces avantages. Toutefois, attention, la version actuelle nécessite d’installer TRL depuis la source, un point à ne pas négliger pour les implémentations futures.
« Liger GRPO change la donne en matière d’efficacité dans l’apprentissage par renforcement. »
Communauté developers de TRL
Optimisation et benchmark : un duo gagnant
Des tests approfondis montrent bien l’efficacité du Liger GRPO. Pour des lots plus grands, la réduction mémoire est jusqu’à 40%. Ces résultats, obtenus avec le modèle Qwen3-0.6B sur le dataset gsm8k, mettent également en lumière la possibilité de formation en FP32 et BF16, même si le support BF16 complet est encore en développement.
Vers une échelle encore plus large avec FSDP et PEFT
Faciliter le passage à un plus grand nombre de GPU ou de nœuds : FSDP et PEFT s’ajoutent à Liger GRPO. Grâce à des techniques comme LoRA, l’entraînement distribué devient non seulement possible mais performant, en réduisant drastiquement la mémoire nécessaire pour chaque modèle. Les adaptateurs LoRA permettent d’économiser de la mémoire sans la nécessité de charger un modèle de référence séparé durant l’entraînement.
Enfin, cette avancée propulse le GRPO dans une ère où scalabilité et performances vont de pair. La capacité d’augmenter la taille des lots de 1,5x à 1,8x est particulièrement révélatrice des gains obtenus.
L’optimisation de Liger GRPO n’est donc pas qu’une amélioration technique ; elle permet à davantage de projets d’accéder à la puissance des RL avec une infrastructure matérielle moindre. Une amélioration nécessaire dans un contexte où chaque ressource compte de plus en plus.