Créer un leaderboard Hugging Face avec Vectara
Découvrez comment Vectara utilise le modèle HHEM pour évaluer la tendance à l'hallucination des LLMs.
En 2023, Vectara a lancé le Hughes Hallucination Evaluation Model (HHEM) pour mesurer la tendance des modèles de langage génératif à produire des textes incohérents ou infidèles. Conçu pour des modèles comme GPT-4 ou Llama 2, HHEM met en évidence les disparités dans la qualité des modèles. Comment mieux suivre ces évaluations qu’avec un leaderboard efficace ?
Mise en place du leaderboard HHEM avec Hugging Face
Créer un leaderboard viable pour Vectara nécessitait l’adaptation des templates fournis par Hugging Face. En clonant le dépôt, deux datasets essentiels, « requests » et « results », ont été créés pour gérer les nouvelles évaluations. Grâce au code source du modèle, des ajustements personnalisés ont permis une mise à jour dynamique, essentielle pour un tracking en temps réel.
Pourquoi le modèle HHEM est crucial pour la recherche LLM
Le HHEM n’est pas seulement un outil d’évaluation, c’est aussi un message fort. En permettant à la communauté open-source d’ajouter des modèles pour l’évaluation, Vectara démocratise l’accès à des données critiques sur les hallucinations dans les résumés générés. Ces données soutiennent des décisions éclairées pour les développeurs et chercheurs, un atout dans une industrie en quête de transparence.
Vectara, grâce au modèle HHEM, apporte une solution open-source pour évaluer la qualité des LLMs. Une avancée qui encourage la soumission et le suivi dynamique de nouveaux modèles d’IA.
Adaptabilité grâce à la solution open-source de Hugging Face
En utilisant le framework open-source de Hugging Face, Vectara a pu ajuster précisément son évaluation à ses besoins spécifiques. La possibilité de personnaliser des éléments comme le générateur de résumés et le modèle d’évaluation a permis une intégration simplifiée, alimentant ainsi un pipeline performant et accessible à tout développeur souhaitant participer.
« Vectara’s commitment to open-source evaluation raises the bar for AI accountability. »
Industry Insider
L’héritage technologique du modèle HHEM
Au-delà de la technologie, il y a un hommage : le HHEM porte le nom de Simon Hughes, un hommage à son impact durable sur le domaine. Ce geste symbolique s’associe au côté pragmatique et technique de l’initiative, faisant du podium HHEM un pilier pour l’évaluation responsable des modèles LLM.
Pour ceux qui souhaitent apporter leur contribution, Vectara encourage les propositions de nouveaux modèles d’IA à évaluer sur leur plateforme. Un défi lancé à la communauté pour enrichir la base de données du leaderboard, rendant les résultats toujours plus pertinents.