Évaluation des Agents Vocaux pour Clients Bilingues
Les modèles ASR modernes répondent-ils aux besoins des clients bilingues en code-switching ? Des benchmarks récents révèlent les gagnants.
Avec plus de la moitié de la population mondiale parlant plusieurs langues, le code-switching, ou le passage d’une langue à l’autre dans une même conversation, est une réalité quotidienne. Et pourtant, dans le contexte des entreprises, peu d’efforts ont été consacrés à l’évaluation des agents vocaux face à cette pratique courante. ServiceNow AI propose un benchmark inédit pour évaluer l’ASR sur des discours code-switchés, une avancée nécessaire dans un monde de plus en plus bilingue.
Voice agents challenges with code-switching
Les agents vocaux rencontrent souvent des difficultés avec le code-switching, surtout dans les milieux professionnels tels que les centres de contacts et le support IT. ServiceNow AI a compris l’importance de cette capacité pour un client dont la base de clients est largement bilingue, et a donc développé un benchmark pour évaluer les modèles ASR. Ce benchmark inclut des langues comme l’espagnol-anglais et le français-anglais, traduisant ainsi les besoins divers et complexes des environnements multilingues actuels.
The methodology behind the bilingual benchmark
Le processus commence par la création d’un corpus interne d’interactions IT et RH. Les critères incluent un minimum de trois mots de contenu commutables pour garantir une génération de texte code-switchée pertinente. Après la génération du texte, une étape de verbalisation et de synthèse audio suit, marquant l’élaboration soignée de ce benchmark.
Le benchmark bilingue de ServiceNow AI évalue la précision et la compréhension du code-switching, crucial pour de nombreux clients d’entreprise aujourd’hui.
Insights from evaluation metrics
Trois critères principaux mesurent la performance des modèles : le Word Error Rate (WER) pour l’exactitude de la transcription, le Semantic Word Error Rate (SWER) pour l’erreur sémantique, et enfin le Answer Error Rate (AER) qui vérifie si les erreurs de transcription entraînent des échecs en aval. Ces nuances sont cruciales pour démontrer l’efficacité opérationnelle des modèles testés.
« Les erreurs de code-switching varient significativement en fonction des paires de langues et des modèles, » indique l’étude.
ServiceNow AI
Top-performing ASR models in the benchmark
Les modèles tels que ElevenLabs Scribe V2 et Assembly AI Universal 3-Pro ont émergé comme leaders en termes de précision de transcription. Leur performance souligne la nécessité d’implémenter des solutions adaptatives et robustes dans les systèmes ASR pour répondre aux besoins des clients bilingues.
Concrètement, le code-switching n’est plus une entrave mais un défi relevable grâce à ces benchmarks. Les entreprises doivent intégrer ces avancées dans leur stratégie technologique pour rester compétitives et pertinentes dans le paysage actuel. ServiceNow AI pave ainsi la voie vers une meilleure compréhension et adaptation aux défis multilingues.