Optimisez vos modèles VLM avec MPO et GRPO pour une meilleure performance multimodale. Découvrez les nouvelles techniques d'alignement de TRL.
Les Vision Language Models (VLM) ne cessent de monter en puissance, mais encore faut-il les aligner avec nos préférences humaines. La dernière mise à jour de TRL met en lumière des techniques qui affinent cet alignement, allant bien au-delà des approches traditionnelles. Parmi les nouveautés, on trouve le Mixed Preference Optimization (MPO) et le Group Relative Policy Optimization (GRPO), des méthodes qui promettent de dynamiser les performances de ces modèles multimodaux.
Nouvelles techniques d’alignement des VLM
Traditionnellement, l’alignement des modèles VLM s’effectuait par l’application du Supervised Fine-Tuning (SFT) pour suivre des instructions, puis du Direct Preference Optimization (DPO) pour accorder le modèle aux données préférentielles. Toutefois, les méthodes récentes telles que GRPO et MPO, introduites dans TRL, permettent de pousser encore plus loin les capacités de ces modèles. Par exemple, le MPO combine plusieurs types de pertes pour une optimisation plus fine : la perte de préférence (DPO), la perte de qualité (BCO) et la perte de génération (SFT).
Mixed Preference Optimization (MPO) : Une avancée notable
Le MPO se démarque en traitant les limitations des modèles alignés avec DPO qui, souvent, génèrent des réponses incohérentes ou répétitives. En intégrant cette approche, TRL permet un entraînement plus efficace des modèles multimodaux. Par exemple, en modifiant simplement la fonction de perte dans MathVista, une amélioration de 6,2 points a été observée. C’est non seulement une question d’algorithme, mais aussi de savoir faire dialoguer les diverses pertes pour ajuster les modèles avec finesse et précision.
Les nouvelles méthodes comme MPO et GRPO améliorent significativement l’alignement des modèles multimodaux, rendant les VLM plus efficaces et performants. C’est une avancée clé pour les développeurs cherchant à maximiser l’impact de l’IA multimodale.
GRPO : une approche de groupe pour l’alignement
Le Group Relative Policy Optimization (GRPO) introduit un aspect collectif dans l’optimisation des politiques où les mises à jour se font sur des groupes de trajectoires. Ainsi, le bruit des récompenses est réduit, car l’apprentissage se base sur la moyenne des réponses au sein d’un groupe plutôt que sur des échantillons individuels. Pour tirer le meilleur parti de cette méthode, il est recommandé d’utiliser des modèles de grande taille et des datasets variés et qualitatifs, comme le montre l’intégration du GRPO dans TRL.
Extensions pour l’alignement des VLM
Au-delà de MPO et GRPO, TRL propose des extensions telles que Reinforce Leave One Out (RLOO) et l’Online Direct Preference Optimization (Online DPO), qui facilitent un alignement plus efficients des VLM. En combinant ces extensions, il devient possible de répondre précisément aux besoins des utilisateurs finaux tout en enrichissant les capacités des modèles. Les scripts d’entraînement et exemples de notebooks disponibles simplifient la mise en œuvre et l’exploration de ces méthodes.
« Ces méthodes récentes transcendent les limitations traditionnelles du DPO, offrant une approche plus robuste et ajustée aux modèles modernes. »
TRL Team
Avec ces avancées, les développeurs possèdent désormais des outils puissants pour aboutir à des résultats nettement optimisés. Cependant, les meilleures pratiques consistent à équilibrer intelligemment ces méthodes pour obtenir un modèle aligné avec précision.