Long-range Transformers : Gains de Performance et Innovateurs
Zoom sur les Long-range Transformers et leurs innovations pour optimiser l'attention séquentielle.
La taille des modèles de Transformer a explosé depuis 2018, générant rapidement deux tendances majeures pour réduire leurs énormes besoins en calcul. L’une des principales préoccupations est le coût quadratique en mémoire et en temps par rapport à la longueur de la séquence. Pour y remédier, 2020 a vu une vague de publications visant à dépasser ces limites initiales de 512 ou 1024 tokens.
Longformer : une approche innovante pour des documents étendus
Longformer repose sur une combinaison novatrice d’attention via des fenêtres localisées et d’attention globale qui évolue linéairement avec la longueur de la séquence. Contrairement à ses prédécesseurs tels que Transformer-XL ou Reformer, il permet une intégration directe sur des modèles pré-entraînés, facilitant ainsi l’entraînement et le fine-tuning sur des tâches nécessitant un traitement de séquences plus longues.
Longformer optimise l’attention séquentielle en combinant attention locale et globale, augmentant ainsi l’efficacité pour des documents de grande taille sans nécessiter de pré-entraînement coûteux.
Compressive Transformer : stocker plus avec moins
Le Compressive Transformer, quant à lui, propose de comprimer les informations à partir de motifs séquentiels longs. Grâce à cette compression, il réduit la consommation de mémoire tout en préservant l’information essentielle au traitement des séquences longues. Cette méthode de stockage vise à conserver un maximum de contexte tout en utilisant moins de ressources, ce qui est crucial pour des applications en NLP.
Performances des Modèles à Attention Longue Portée
L’adoption d’attention dilatée par Longformer s’avère surtout bénéfique pour les tâches de modélisation de langue. En réussissant mieux que des modèles comme Transformer-XL sur les benchmarks, elle montre que l’usage de l’attention globale sur des tokens spécifiques booste significativement les performances des tâches en aval.
« En remplaçant simplement l’attention standard par l’attention longue portée, on adapte les modèles pré-entraînés aux inputs longs sans le coût supplémentaire de pré-entraînement. »
Hugging Face
Économie de Ressources : un enjeu central
Les modèles d’attention longue portée ne sont pas seulement une question d’amélioration des performances; ils permettent également de réduire les coûts de traitement et les besoins en infrastructure, des enjeux cruciaux pour les applications industrielles à grande échelle.
Les Transformers à longue portée redéfinissent notre approche des séquences de texte étendues, démontrant que l’optimisation de l’attention n’améliore pas seulement l’efficacité mais offre également une plus grande versatilité tout en maîtrisant les ressources utilisées. Dans un domaine en constante évolution, ces innovations capturent l’essence même de la recherche appliquée: obtenir plus avec moins.