Granite 4.1 : décryptage du modèle dense LLM performant
Le modèle Granite 4.1 améliore la performance avec un entraînement rigoureux sur 15 trillions de tokens. Focus sur sa construction.
Granite 4.1 compte parmi les modèles de language les plus ambitieux avec un pré-entrainement sur environ 15 trillions de tokens, et un contexte long comme rarement atteint : jusqu’à 512K tokens. C’est un exploit technique qui met en avant l’importance de la qualité des données sur leur quantité.
Comment Granite 4.1 redéfinit l’architecture LLM
Les modèles Granite 4.1 se basent sur une architecture dense et sans autre artifice que le strict nécessaire. Contrairement aux méthodes MoE (Mixture of Experts) plus complexes, ce choix semble curieux mais repose sur une simplicité qui paie. Par exemple, le modèle 8B Granite rivalise avec la version Granite 4.0-H-Small de 32B (A9B MoE), pourtant plus complexe en termes de paramètres.
Un entraînement par étapes pour des résultats probants
L’entraînement de Granite 4.1 est divisé en cinq phases marquées par une évolution des types de données utilisés. À chaque phase, le modèle passe d’une base large de données web communes à des données de plus en plus ciblées et de haute qualité, avec une priorité donnée aux mathématiques et au codage dès les phases initiales.
Optimisation par apprentissage renforcé
Granite 4.1 utilise également l’apprentissage renforcé avec le GRPO on-policy intégré par une perte DAPO pour affiner ses performances, particulièrement dans les mathématiques et la compréhension des instructions. Cette méthode garantit que les modèles peuvent sortir des sentiers battus en résolvant des problèmes complexes, tout en restant stables.
Granite 4.1 mise sur une architecture dense et un entraînement rigoureux par étapes sur des trillions de tokens. Un pari sur la qualité plus que sur la quantité qui semble payant.
La supervision fine : clé de la fiabilité
Pour transformer ces modèles bruts en assistants fiables, un processus rigoureux de fine-tuning supervisé est appliqué. À travers le cadre ‘LLM-as-Judge’, Granite 4.1 s’assure de la qualité de chaque échantillon utilisé, évitant l’injection de comportements indésirables par des données de mauvaise qualité.
« L’accent sur la qualité des données que nous utilisons, plutôt que leur simple volumétries, constitue un changement de paradigme significatif pour Granite 4.1 »
Granite Team, IBM
En conclusion, Granite 4.1 redéfinit les attentes en matière de modèles linguistiques en prouvant que simplicité architecturale et rigueur d’entraînement peuvent surpasser la simple multiplication des paramètres. Pour l’avenir, l’approche de Granite pourrait bien servir de modèle à d’autres initiatives en intelligence artificielle.