NuminaMath et Hugging Face remportent le AIMO Progress Prize en résolvant 29 problèmes mathématiques avec IA !
En 2024, Numina et Hugging Face ont collaboré pour emporter le 1er Progress Prize de l’AI Math Olympiad. Leur modèle, NuminaMath 7B TIR, a résolu 29 sur 50 problèmes mathématiques difficiles, un exploit qui montre le potentiel des LLMs dans des domaines spécialisés.
NuminaMath : Une initiative IA4Math révolutionnaire
Numina, lancé par des passionnés d’IA et de mathématiques, est une initiative open-source soutenue initialement par Mistral AI. En collaborant avec des experts de Hugging Face, l’équipe a combiné intelligence et technologie pour relever le défi de l’AIMO. Cette initiative vise à rendre l’IA en mathématiques accessible, à l’image de l’esprit autodidacte de Srinivasa Ramanujan.
Le défi AIMO et ses enjeux
L’AI Math Olympiad pousse l’IA à dépasser ses limites en résolution de problèmes. Le prix AIMO, avec son grand prix de 5 millions de dollars, attire les initiatives cherchant à développer des IA capables de rafler l’or à l’International Math Olympiad. Dans une compétition de type Kaggle, même des tâches plus simples que celles de l’IMO posent un défi considérable pour les LLMs.
La solution gagnante de NuminaMath
La stratégie de NuminaMath s’est concentrée sur trois composantes : un fine-tuning fin du modèle DeepSeekMath-Base 7B, un algorithme de décodage innovant pour le raisonnement intégré aux outils (TIR), et des ensembles de validation internes variés. Grâce à des bibliothèques open-source et un entraînement sur 8 GPUs H100, ils ont assuré la robustesse de leur modèle.
NuminaMath a prouvé que l’IA peut exceller en mathématiques grâce à un model fine-tuné et des techniques de raisonnement intégrées, redéfinissant les capacités des LLMs.
Méthodes de formation : S’inspirer des grands
Leur approche de fine-tuning s’inspire des travaux de MuMath-Code, utilisant une méthode en deux étapes. Tout d’abord, sur un ensemble de données varié et, en second lieu, sur un dataset synthétique. Cette méthode a permis de créer un agent capable de résoudre des problèmes via un raisonnement naturel et l’utilisation de REPL Python.
« Si l’ordinateur est une bicyclette pour l’esprit, l’intelligence artificielle en est le moteur – ouvrant de nouveaux horizons pour les Ramanujans de notre temps. »
Numina Initiative
Avec une stratégie calibrée et leurs efforts collectifs, NuminaMath et Hugging Face montrent comment une approche concertée en IA peut mener à des réalisations extraordinaires. En conclusion, cette victoire au AIMO n’est qu’un début, anticipant un futur où l’intelligence artificielle joue un rôle central dans le développement mathématique et scientifique.