Optimisation du Traitement des Données par l’IA avec Dask et Hugging Face
Découvrez comment Dask et Hugging Face transforment l'analyse de données massive en rendu fluide et efficace.
L’échelle des ensembles de données en IA ne cesse de croître, atteignant parfois des centaines de gigaoctets voire des téraoctets. Ce volume pose un défi important pour le traitement et l’inférence, surtout quand on utilise des modèles pré-entraînés de Hugging Face. Comment transformer ce chaos de données en insight clair et rapide ? Dask, une bibliothèque Python pour le calcul distribué, tient ici sa promesse en réduisant considérablement les temps de traitement.
Traitement local : une première étape limitée
L’équipe de Hugging Face utilise le FineWeb-Edu classifier pour identifier les pages web à haute valeur éducative. Sur un ordinateur portable, télécharger et traiter 100 lignes de leur ensemble de données FineWeb, composé de 15 milliards de tokens, prend plus d’une minute. En utilisant pandas sur un échantillon de 100 lignes, le calcul de la capacité éducative de ces pages web tourne autour de 10 secondes sur un Mac M1 avec un GPU. Cependant, ce process n’est pas viable pour des centaines de millions de lignes.
Passer à l’échelle avec Dask
Là où pandas échoue, Dask brille. En utilisant Dask DataFrame, Hugging Face a pu traiter un ensemble gigantesque de 211 millions de lignes, issu du Common Crawl de février/mars 2024, en paralysant le processus de classification. Le jeu de données de 432 GB ou 715 GB en mémoire est ainsi rendu gérable, tout en conservant une API similaire à pandas, facilitant la montée en échelle sans douleur.
Dask, en tandem avec Hugging Face, simplifie et accélère le traitement de données massives en lui permettant d’opérer à grande échelle, rendant l’IA plus accessible et efficace.
Performance sur le cloud avec Coiled
Pour maximiser l’efficacité, Hugging Face déploie Dask via Coiled dans le cloud, en utilisant des machines virtuelles équipées de GPU NVIDIA A10 Tensor Core. Ceci permet non seulement de compresser les temps de traitement, mais aussi de moduler les ressources à la demande, assurant une flexibilité et une réactivité optimales. La configuration choisie s’ajuste ainsi dynamiquement selon les besoins de charge.
« Coiled assure la répartition provisionnelle de VM cloud avec hardware GPU »
Article sur Hugging Face
Flexibilité et efficacité du multi-GPU
Le choix du matériel est crucial dans ce processus. En passant par une configuration multi-GPU, il est possible de distribuer les calculs de manière plus efficace, exploitant ainsi au maximum les capacités de chaque thread. La politique d’utilisation des instances spot, lorsque disponibles, réduit les coûts tout en évitant les retards grâce à une solution de repli sur des instances stables.
Cette approche, combinée avec l’automatisation par Dask, engendre une économie de temps considérable, transformant le traitement des données d’une épreuve longue à une tâche gérable et potentiellement rapide.