Falcon 2 : Un modèle de langage préentraîné puissant et multilingue
Falcon 2, un modèle performant de 11B paramètres, rivalise avec des géants comme Falcon-40B grâce à une optimisation fine.
La dernière itération du modèle Falcon, le Falcon 2, s’établit comme un sérieux concurrent dans le domaine des modèles de langage avec ses 11 milliards de paramètres. Entraîné sur plus de 5000 milliards de tokens, ce modèle s’intercale entre modestie de taille et puissance d’exécution. Une prouesse qui s’appuie sur une technologie avancée, maintenant disponible en open-source, pour les développeurs avides d’optimisation et d’innovation.
Une architecture optimisée pour des performances supérieures
Le Falcon 2 a été conçu pour garantir des inférences moins coûteuses tout en intégrant des fonctionnalités multi-modales remarquables. Tandis que le Falcon de première génération offrait des solutions sophistiquées avec des modèles allant jusqu’à 180 milliards de paramètres, le Falcon 2 réinvente le genre avec son modèle 11B performant. En utilisant 1024 GPU A100 40GB, il adopte une stratégie de parallélisme 3D, optimisant ainsi sa capacité de traitement avec une consommation de ressources maitrisée.
Des résultats d’évaluation impressionnants
Face à ses concurrents comme Llama3-8B ou Mistral-7B, le Falcon2-11B ne se laisse pas distancer. Selon le Open LLM Leaderboard, il surpasse régulièrement ces modèles, affichant un score moyen de 64,28 sur les tâches exigeantes de HellaSwag et ArcChallenge-25. Comparativement, Falcon-40B, bien que plus volumineux, affiche un score similaire, démontrant l’efficacité du Falcon 2 à taille égale.
Capacités multilingues renforcées
Le Falcon 2 ne s’arrête pas à l’anglais. Avec des performances solides en français, espagnol, allemand et sept autres langues, il s’impose comme un modèle de choix pour les entreprises ayant une portée internationale. Bon nombre de ces langues voient une amélioration des scores par rapport à d’autres modèles concurrents, notamment sur des benchmarks comme MMLU et TruthfulQA.
Falcon 2, avec 11B paramètres, offre des solutions puissantes et multilingues en IA, rivalisant avec des modèles bien plus volumineux, et optimise les coûts d’inférence.
« Le Falcon2-11B montre une performance similaire au Falcon-40B, à une taille de modèle quatre fois plus petite! »
Source de l’évaluation par Hugo Gauvain
En conclusion, le modèle Falcon 2, par sa structure, ses capacités multilingues et ses résultats performants, marque une avancée notable pour la communauté open-source et les développeurs cherchant à implémenter des solutions IA robustes et économes en ressources.