BLOOM : Le modèle multilingue open source le plus ambitieux
BLOOM révolutionne l'accès aux LLMs avec 176 milliards de paramètres multilingues. Un game changer pour l'IA open source.
Avec ses 176 milliards de paramètres, BLOOM s’impose comme le plus grand modèle open source multilingue jamais créé. Développé en toute transparence par plus de 1000 chercheurs internationaux, il s’apprête à transformer l’accès aux modèles de langue larges, jusque-là réservés à l’élite de la recherche industrielle.
BLOOM : une collaboration internationale sans précédent
BLOOM témoigne d’une collaboration de plus de 1000 chercheurs issus de 70 pays et 250 institutions. La formation du modèle sur le supercalculateur Jean Zay a mobilisé des ressources de l’ordre de 3 millions d’euros, une première dans la mise à disposition de tels moyens pour un projet entièrement open source.
Un modèle pour 46 langues naturelles et 13 langages de programmation
En générant du texte en 46 langues naturelles, dont le français et l’arabe, ainsi qu’en 13 langages de programmation, BLOOM s’adresse à une communauté de développeurs et de chercheurs mondiale. Ce modèle dépasse les 100 milliards de paramètres dans la majorité de ces langues, sans précédent pour un modèle ouvert.
Transparence et accessibilité accrues avec BLOOM
Contrairement à d’autres modèles similaires, BLOOM est accessible à tous les chercheurs pouvant adhérer à sa licence de l’IA responsable. En outre, les états d’optimisation et points de contrôle intermédiaires du modèle sont publiés, favorisant un environnement de recherche ouvert et collaboratif.
BLOOM libère le potentiel des grands modèles de langue pour la communauté open source, rendant possible l’exploration de nouvelles capacités linguistiques et toujours plus variées.
Vers une évolution continue avec BLOOM
La mission de BLOOM ne s’arrête pas là. En reprenant les fondements établis par T0++, l’équipe explore les moyens de rendre BLOOM encore plus instructible et envisage l’ajout de nouvelles langues ainsi que la compression du modèle pour un usage plus flexible. BLOOM est conçu comme une famille de modèles en évolution continue.
« BLOOM est le germe d’une famille de modèles vivants que nous avons l’intention de faire croître. »
Hugging Face
À l’heure où l’IA redéfinit les limites de la recherche linguistique, BLOOM marque une étape cruciale vers une démocratisation des technologies de pointe. Les modèles de cette envergure, autrefois réservés à une minorité, sont désormais entre les mains de ceux qui oeuvreront pour un avenir technologique véritablement inclusif.