Découvrez le cadre EVA qui évalue agents vocaux sur précision et expérience, révolutionnant interactions vocales.
Les interactions avec les agents vocaux sont devenues omniprésentes, mais leur évaluation effective a toujours été un défi. Jusqu’à présent, les métriques se concentraient soit sur la précision, soit sur la qualité d’expérience, rarement sur les deux à la fois. Le cadre EVA change la donne en évaluant ces agents à travers un prisme holistique qui intègre ces deux dimensions essentielles.
Les limites des cadres traditionnels
La majorité des outils d’évaluation existants, comme AudioBench ou VoiceBench, ne mesurent qu’un aspect de l’interaction vocale. Ils se concentrent sur l’exactitude de la reconnaissance ou la qualité perçue du son, mais isolent ces éléments de l’expérience utilisateur globale. EVA refuse cette partition en intégrant une perspective multifacette, essentielle pour évaluer la véritable capacité des agents vocaux à accomplir des tâches tout en offrant une expérience fluide.
Fonctionnement du cadre EVA
EVA introduit une architecture bot-to-bot complexe, analysant des conversations pluritours qui s’étendent au-delà des simples échanges de transcriptions. Chaque composant du système, du User Simulator jusqu’au Tool Executor, reproduit les défis authentiques de la compréhension du langage parlé. Cela permet de saisir des nuances telles que les interruptions naturelles ou les reprises après erreur, souvent invisibles dans les évaluations classiques.
EVA transforme l’évaluation des agents vocaux en intégrant précision et expérience. Un équilibre crucial pour des interactions fidèles et fluides, désormais mesuré efficacement.
Benchmark et résultats : l’équilibre précision-expérience
Selon les données initiales de ServiceNow, les agents qui excellent dans la réalisation des tâches ont tendance à offrir une expérience utilisateur moins engageante, illustrant un compromis constant entre précision et fluidité. Cet équilibre est désormais mesuré de manière duale avec EVA-A (précision) et EVA-X (expérience).
Cas d’utilisation : données synthétiques et scénarios réalistes
EVA est lancé avec un ensemble de 50 scénarios dans le domaine de l’aviation, incluant des réservations, annulations et reprogrammations. Chaque scénario est conçu pour tester des capacités telles que le raisonnement temporel et la gestion des entités nommées. Cette approche garantit que les agents sont prêts pour des déploiements dans des environnements réalistes, mesurant chaque aspect des tâches complexes.
« EVA est la première à évaluer conjointement la réussite des tâches et l’expérience conversationnelle. »
ServiceNow Blog
En conclusion, EVA inaugure une ère nouvelle pour l’évaluation des agents vocaux. En combinant la précision et l’expérience en un seul cadre, il fournit une jauge robuste pour guider le développement futur de ces technologies, apportant des interactions vocales plus justes et plus humaines.