IDEFICS : modèle visuel open-source multimodal performant
IDEFICS, modèle visuel open-source à 80 milliards de paramètres, rivalise avec Flamingo. Transparent, basé sur données publiques.
En août 2023, un jalon significatif a été atteint dans le domaine des modèles de langage visuels avec le lancement d’IDEFICS, une reproduction open-source du puissant modèle Flamingo, développé à l’origine par DeepMind mais jamais rendu public. Issu des efforts de Hugging Face, IDEFICS est bâti exclusivement sur des données et modèles publics, tels que LLaMA et OpenCLIP, et est disponible en variantes de 9 et 80 milliards de paramètres.
IDEFICS : Comprendre le modèle multimodal visuel
Le modèle IDEFICS, avec ses 80 milliards de paramètres, accepte une variété d’entrées composées de séquences d’images et de textes. Adapté pour générer des textes cohérents, il peut répondre à des questions sur des images, décrire du contenu visuel ou encore narrer des histoires basées sur plusieurs images. Comparé à Flamingo, IDEFICS montre des performances équivalentes selon divers benchmarks d’analyse image-texte, tout en offrant la transparence que beaucoup dans la communauté IA recherchent.
Un modèle construit sur des données publiques
Pour assurer cette transparence, IDEFICS a été entraîné sur des ensembles de données accessibles publiquement, y compris un nouveau jeu de données OBELICS, composé de 141 millions de documents image-texte intercalés et 353 millions d’images. Le modèle offre ainsi une alternative aux systèmes propriétaires tout en permettant l’exploration approfondie des technologies IA multimodales. Hugging Face fournit également des outils pour visualiser les données utilisées, un exercice rare mais essentiel pour une éthique de développement étant donné les inquiétudes croissantes sur les biais potentiels de l’IA.
IDEFICS offre une alternative ouverte aux modèles propriétaires comme Flamingo. Performant, transparent, il s’adresse aux chercheurs et développeurs cherchant un accès aux avancées IA multimodales.
Évaluation éthique et implication de la communauté
Avant sa sortie, IDEFICS a subi une évaluation éthique stricte, visant à identifier et atténuer les biais par un processus de « red teaming », où le modèle est confronté à des prompts conçus pour révéler ses potentielles faiblesses. Une charte éthique a guidé ce processus, enracinée dans la transparence et l’équité. Les développeurs encouragent la communauté à essayer le modèle et donner leur retour pour améliorer encore plus ses performances et son accessibilité.
« L’ouverture et la transparence d’IDEFICS permettent une exploration accessible des grands modèles IA, essentiel pour la recherche future. »
Hugging Face
Disponibilité et première utilisation
Les modèles IDEFICS sont accessibles via le Hub Hugging Face et supportés par la dernière version de Transformers. Un échantillon de code est disponible pour démarrer avec ces modèles sur des dispositifs CUDA. Bien que basés sur deux modèles pré-entraînés, dont l’un sous licence MIT, les utilisateurs doivent respecter les conditions spécifiques d’utilisation pour l’autre, axées sur la recherche non commerciale.
IDEFICS se présente donc comme une innovation significative dans le monde des modèles visuels, offrant des performances de pointe sans sacrifier la transparence. Avec sa base sur des données publiques et son engagement envers des pratiques éthiques, il montre la voie à suivre pour d’autres initiatives open-source dans le domaine de l’IA.