Comment Xet révolutionne le stockage sur Hugging Face Hub
Xet transforme le stockage des modèles IA avec une efficacité sans précédent. Découvrez les détails de ce changement majeur.
La migration récente des modèles et datasets sur le Hub de Hugging Face vers le stockage Xet a marqué un tournant significatif. En remplaçant le système LFS par un nouveau modèle de stockage, Xet promet des téléchargements et des uploads plus rapides et plus robustes, adaptés aux besoins croissants des développeurs travaillant sur des projets massifs.
Xet vs LFS : Un changement fondamental
Le précédent système, LFS, obligeait à charger intégralement de gros fichiers même pour de petites modifications. En contraste, Xet opère une déduplication au niveau des octets, ne transférant que les ‘chunks’ modifiés. Ainsi, une mise à jour de 1MB dans une base de données de 5GB prend désormais une fraction de seconde, contre 13 minutes auparavant.
L’impact sur la communauté de développeurs
Cette évolution s’adresse à un large public de développeurs : près de deux millions d’acteurs travaillent sur plus de deux millions de dépôts publics. Avec une infrastructure qui supporte cette communauté massive, Xet affirme une vraie efficacité en migrant 6% du trafic de téléchargement vers son infrastructure en peu de temps.
Les défis de l’intégration
L’intégration d’un système aussi complexe n’est pas sans défis. Le passage de la théorie à la pratique a nécessité une coordination pointue entre divers composants tels que les clients compatibles Xet et le stockage CAS, ainsi qu’une gestion des challenges en temps réel avec des outils comme Grafana et Kibana.
Xet améliore l’efficience des téléchargements pour les modèles IA massifs sur Hugging Face, en réduisant drastiquement le temps et les ressources nécessaires.
Fin de partie pour des surcharges de téléchargement
Un des problèmes rencontrés lors de la migration a été les surcharges du système CAS, qui téléchargeait bien plus de données qu’il n’en délivrait. L’alignement insuffisant des requêtes de téléchargement sur les frontières des blocs était en cause, limitant l’efficacité du transfert de données.
« La migration des données avec Xet illustre une évolution nécessaire et bénéfique pour l’hébergement de modèles AI massifs. »
Assaf Vayner, Xet Team
Xet redéfinit la façon dont Hugging Face soutient ses utilisateurs, en réduisant considérablement le coût et le temps associé à la gestion des fichiers massifs. Bien que des ajustements soient encore nécessaires, la transition vers Xet symbolise un progrès clair dans l’efficacité et l’adaptabilité des ressources à l’échelle.