Falcon : nouveau modèle IA débarque chez Hugging Face
Découvrez Falcon, le modèle IA open source qui rivalise les géants fermés, et son intégration dans l'écosystème Hugging Face.
L’annonce du modèle Falcon par le Technology Innovation Institute d’Abu Dhabi a fait l’effet d’une bombe dans le monde de l’intelligence artificielle. Avec ses 180 milliards de paramètres, Falcon-180B est le plus grand modèle disponible en open source, prêt à concurrencer les modèles propriétaires comme PaLM-2 de Google.
Falcon : un modèle IA véritablement ouvert
La famille Falcon se distingue par sa nature open source, sous licence Apache 2.0, une rareté dans un domaine généralement dominé par des modèles fermés. Le Falcon-40B, par exemple, est un modèle qui se targue d’une ouverture réelle, permettant à la communauté de l’explorer et de l’adapter selon ses besoins spécifiques.
Performance et accessibilité des modèles Falcon
Avec ses 40 milliards de paramètres, le modèle Falcon-40B nécessite environ 90 Go de mémoire GPU pour tourner, mais il parvient à surpasser LLaMA-65B qui en exige bien plus. Quant au modèle Falcon-7B, il reste accessible aux configurations matérielles grand public avec seulement 15 Go requis.
Falcon se distingue par son ouverture et sa performance : des modèles puissants à disposition de tous, propulsant la recherche et l’innovation IA ouverte.
Des variantes pour des cas d’usage spécifiques
En plus des modèles de base, des versions instruct Falcon-7B et Falcon-40B ont été développées pour exceller dans des tâches d’assistance. Ceci grâce à un entraînement sur des données conversationnelles et des instructions, proposant ainsi une meilleure adéquation avec les tâches orientées utilisateurs.
L’impact de l’architecture sur l’efficacité
Innovant par sa conception, Falcon adopte la multiquery attention, un procédé qui partage les clés et valeurs entre les têtes d’attention, réduisant considérablement les coûts mémoire en inférence. Cela permet à Falcon de gérer efficacement des tâches complexes avec une empreinte mémoire réduite.
« Falcon-180B, le plus grand modèle open source à ce jour, rivalise avec les meilleurs modèles fermés du marché. »
Leandro von Werra, sur le blog Hugging Face
En conclusion, Falcon marque une avancée majeure dans le développement de l’IA grâce à son impact ouvert sur la communauté. Il offre à la fois des performances comparables à celles des modèles propriétaires tout en restant accessible, posant ainsi un jalon important pour les chercheurs et les développeurs à travers le monde.