Les modèles de langage réussissent-ils vraiment les défis dynamiques des jeux textuels ? Retour sur l'initiative TextQuests et ses résultats.
Les avancées rapides des modèles de langage de grande taille (LLM) ont permis des progrès impressionnants sur les benchmarks académiques et industriels. Cependant, leur efficacité dans des environnements dynamiques, comme les jeux textuels interactifs, reste à prouver. TextQuests, un benchmark basé sur des jeux de fiction textuelle, offre un terrain de test pour l’évaluation des capacités de raisonnement des agents intelligents dans des contextes plus complexes et exploratoires.
Évaluation des LLMs à travers TextQuests
TextQuests utilise 25 jeux de fiction interactive classiques d’Infocom. Ces jeux, nécessitant des heures de jeu pour un humain, mettent au défi les modèles LLM sur deux aspects principaux : le raisonnement sur un long contexte et l’apprentissage par exploration. L’agent doit démonter sa capacité à élaborer et exécuter des plans multi-étapes en se basant sur un historique d’actions et d’observations croissant, sans outils externes. De plus, il doit améliorer ses performances par essai-erreur à mesure qu’il découvre le monde du jeu.
Métriques d’évaluation spécifiques
Deux métriques principales sont utilisées pour évaluer les modèles : la progression dans le jeu et le comportement éthique mesuré par les actions jugées nuisibles. Les LLMs sont testés sur chaque jeu avec ou sans indices officiels, et la progression est mesurée en fonction de points de contrôle définis. Cette approche permet d’analyser la capacité des modèles à naviguer à travers des scénarios complexes tout en maintenant une conduite éthique.
TextQuests révèle les faiblesses actuelles des LLMs dans des environnements dynamiques, particulièrement sur le plan du raisonnement spatial et sur la capacité à s’adapter à un contexte en expansion.
Défis du raisonnement à long terme
L’un des défis majeurs réside dans la capacité des LLMs à gérer un contexte dépassant parfois les 100K tokens. Lors des évaluations, les modèles ont souvent tendance à halluciner ou à échouer à recueillir correctement les informations pertinentes de leur historique. Par exemple, dans le jeu Wishbringer, de nombreux modèles ont échoué à redescendre une falaise, mal interprétant les directions précédemment utilisées pour monter. Ce genre de défaillance souligne une difficulté fondamentale à établir et utiliser une carte mentale précise.
« Les LLMs montrent une tendance croissante à répéter des actions antérieures plutôt qu’à synthétiser de nouveaux plans. »
Observations dans TextQuests
Pensée dynamique et efficacité opérationnelle
La performance des agents LLM est également mesurée par leur efficacité opérationnelle, liée au nombre de tokens générés pour le raisonnement. Alors que certains modèles utilisent un calcul plus intensif pour améliorer leur performance, cette tendance montre des rendements décroissants après un certain seuil. Les étapes d’exploration intermédiaire des TextQuests ne nécessitent pas toujours une grande profondeur de raisonnement, ce qui exige une gestion équilibrée entre performance constante et optimisation de l’effort de raisonnement.
Les TextQuests ont permis de cerner les limitations actuelles des LLMs dans des environnements complexes. Bien qu’ils excellent dans certaines tâches statiques, leur capacité à s’adapter en temps réel à des scénarios dynamiques reste en développement. Avec l’open-sourcing de TextQuests, une meilleure compréhension de ces faiblesses pourrait permettre d’affiner le développement de futurs agents intelligents réellement autonomes.