Découvrez comment Deepseek R1 redéfinit les capacités de raisonnement des modèles RL avec l'apprentissage par renforcement.
L’annonce du modèle Deepseek R1 a secoué le monde de l’IA. Pourquoi ? Parce que DeepSeek-R1, un modèle ouvert, rivalise avec OpenAI o1 dans des tâches complexes de raisonnement, grâce à l’optimisation des politiques relatives de groupe (GRPO) et une approche d’apprentissage en plusieurs étapes axée sur le RL. Ce modèle n’a pas seulement été lancé, ils ont aussi révélé un document de recherche détaillant leur « moment d’aha » lors de la formation du modèle.
Validation du moment ‘Aha’ : Formation avec GRPO
L’innovation majeure de Deepseek R1 réside dans l’utilisation de l’Optimisation des Politiques Relatives de Groupe (GRPO) pour son apprentissage par renforcement. Ce processus, introduit dans le papier DeepSeekMath, améliore le raisonnement mathématique des LLMs sans utiliser de fonction de valeur traditionnelle. Au lieu de cela, il s’appuie sur des scores de groupe pour réduire l’utilisation de la mémoire et la surcharge computationnelle. Cette approche a révélé que DeepSeek-R1-Zero pouvait allouer plus de temps de réflexion pour résoudre des problèmes complexes, sans intervention humaine.
Le jeu du compte à rebours : un test de raisonnement
Le blog détaille l’utilisation de GRPO dans le contexte du jeu du compte à rebours, où un modèle IA devait utiliser des nombres aléatoires et des opérations arithmétiques pour atteindre un nombre cible. L’exercice met en lumière la capacité du modèle à auto-vérifier et à rechercher des solutions, reproduisant ainsi le moment ‘Aha’ de DeepSeek-R1.
« Ce comportement est un témoignage des capacités croissantes de raisonnement du modèle. »
Philipp Schmid
Environnement de développement et infrastructure de calcul
L’entraînement de ce modèle a été réalisé sur des GPU NVIDIA H100, exploitant des outils comme Deepspeed et vLLM pour la formation distribuée. Cette infrastructure a permis de réduire le temps de chaque étape à 45-60 secondes, illustrant l’efficacité et la robustesse des outils utilisés.
Qu’est-ce que cela signifie pour le futur de l’IA ?
En combinant RL avec GRPO, le modèle Deepseek R1 a ouvert une nouvelle voie dans l’entraînement des modèles d’IA, proposant une alternative viable qui pourrait rivaliser avec les géants du domaine. Cela soulève des questions sur l’avenir de la collaboration entre les différentes techniques d’apprentissage automatique et leur capacité à innover dans le secteur de l’IA.
Deepseek R1 prouve qu’un modèle open source peut rivaliser avec des leaders établis grâce au RL et GRPO, redéfinissant les attentes en matière de capacités de raisonnement des modèles IA.
In fine, Deepseek R1 illustre la puissance croissante des systèmes d’IA autonomes qui repoussent les limites du raisonnement mathématique. Avec GRPO et la formation par renforcement, ce modèle ouvre de nouvelles perspectives et défis pour les futurs développements d’IA. L’industrie doit maintenant se préparer à adapter ces techniques prometteuses et à intégrer ces outils dans leurs flux de travail.