Optimise Whisper Multilingue avec Hugging Face Transformers
Dévoile le potentiel de Whisper en ASR multilingue grâce au fine-tuning précis via Hugging Face Transformers, un guide complet.
Whisper, lancé par OpenAI en septembre 2022, se distingue par son apprentissage sur 680 000 heures de données audio labellisées. C’est dix fois plus que ce qu’offre Wav2Vec 2.0 avec ses 60 000 heures de données non labellisées. Cette différence significative de données permet à Whisper de briller dans les systèmes de reconnaissance vocale automatique (ASR), couvrant plus de 96 langues, dont beaucoup sont à faible ressource.
Whisper versus Wav2Vec 2.0 : Un aperçu des capacités
À la différence de ses prédécesseurs comme Wav2Vec 2.0, qui exige un apprentissage approfondi pour des résultats compétitifs, Whisper réussit avec peu de fine-tuning. En effet, Whisper utilise le cross-entropy comme fonction objective pour ses tâches de classification, un standard pour les systèmes séquence-à-séquence. Cette efficacité se traduit par un taux d’erreur de mots (WER) exceptionnel de près de 3 % sur le subset test-clean de LibriSpeech ASR.
Préparation au fine-tuning multilingue
Pour effectuer un fine-tuning, on s’appuie sur des outils populaires comme transformers et accelerate, en utilisant des ensembles de données comme Common Voice. Whisper intègre des aspects de deep fusion, permettant un apprentissage end-to-end bien plus efficace comparé au shallow fusion traditionnel avec CTC et n-grammes, sans oublier l’évaluation via les bibliothèques évalue et jiwer.
Whisper, avec ses 680 000 heures de données labellisées, surpasse de nombreux systèmes ASR avec peu de fine-tuning requis. Sa capacité multilingue couvre plus de 96 langues efficacement.
Architecture Transformer : coeur de la performance de Whisper
Le modèle Whisper fonctionne comme un modèle séquence-à-séquence, où l’encodeur transforme les entrées audio en états cachés, et le décodeur prédit le texte. Cette architecture est renforcée par un spectrogramme log-Mel, crucial pour convertir les entrées audio en séquences textuelles via des mécanismes d’attention croisée.
« Grâce à sa pré-formation sur des données multilingues labellisées, Whisper adapte facilement ses checkpoints pour des langues à faible ressource. »
Adaptation et fine-tuning
Résultats impressionnants avec des données limitées
Pour illustrer la puissance de Whisper, en utilisant une version multilingue avec 244M paramètres, une adaptation avec seulement 8 heures de données supplémentaires peut produire des résultats probants dans des langues moins couvertes. Ceci révèle l’efficacité du modèle dans des environnements où les ressources sont limitées.
En conclusion, Whisper, avec son approche surabondante et précise, se profile comme l’avenir de la reconnaissance vocale automatique, particulièrement dans le domaine multilingue. Pour ceux qui souhaitent développer des solutions ASR efficaces, tirer parti de son modèle à la pointe est un choix avisé.