SetFit: Révolution du Few-Shot Learning sans Prompts
SetFit optimise le doc Few-Shot en garantissant rapidité et efficacité, même avec peu de données étiquetées.
La gestion de données éparses est le cauchemar de tout data scientist. C’est là qu’intervient SetFit, une approche innovante qui promet d’optimiser l’apprentissage few-shot tout en réduisant les ressources nécessaires. Comparée aux modèles traditionnels, SetFit excelle avec seulement 8 exemples étiquetés par classe, atteignant la précision de méthodes plus lourdes comme RoBERTa Large.
Une approche sans prompts ni verbalisateurs
Contrairement aux méthodes few-shot existantes, SetFit se passe complètement de prompts et de verbalisateurs. En générant des embeddings directement à partir de quelques exemples étiquetés, cette approche allège considérablement le processus. Des modèles comme GPT-3, nécessitant de lourdes configurations de prompts, sont désormais éclipsés par cette simplicité efficace.
Performance et multilinguisme
SetFit montre une performance remarquable sur de nombreux benchmarks, même avec un modèle de taille modeste. Avec 355 millions de paramètres seulement, SetFit dépasse des géants comme GPT-3 sur plusieurs tâches de classification. De plus, sa compatibilité multilingue, utilisable avec n’importe quel transformer de la bibliothèque Hugging Face, élargit son champ d’application à une multitude de langues, rendant possible des classifications en français, allemand, japonais, chinois et espagnol sans effort supplémentaire.
Avec SetFit, le few-shot learning devient accessible et incroyablement rapide, tout en garantissant des performances de haut niveau et un coût d’opération minimal : une aubaine pour développeurs et chercheurs travaillant avec peu de données étiquetées.
Des benchmarks impressionnants
En testant SetFit sur RAFT, un benchmark de classification few-shot, les résultats sont parlants : SetFit se classe parmi les meilleures méthodes, surpassant PET et se situant juste sous les performances humaines, tout en nécessitant bien moins de ressources. Cette efficacité s’obtient avec des ressources matérielles relativement modestes, réduisant à la fois le coût et le temps d’entraînement.
Rapidité et efficacité des coûts
L’un des atouts majeurs de SetFit est sa rapidité. Sur un GPU NVIDIA V100, l’entraînement avec seulement 8 exemples prend à peine 30 secondes pour un coût minime de 0,025 $. Comparativement, d’autres modèles demandent des configurations plus coûteuses, comme l’A100 pour T-Few 3B, qui coûte approximativement 28 fois plus cher à entraîner. Cette rapidité se traduit aussi lors des phases d’inférence.
« Avec SetFit, la distinction entre performance et rapidité n’existe plus, même avec des ressources limitées. »
Analyste IA