Hugging Face redéfinit ses transferts de données pour améliorer vitesse et sécurité. Découvrez les innovations apportées par la nouvelle architecture.
Avec 8,2 millions de requêtes de téléversement et 130,8 To de données transférées en seulement 24 heures, Hugging Face doit faire face à un défi de taille: optimiser la gestion massive de ses téléchargements et téléversements à l’échelle mondiale.
Nouvelles limites du CDN Cloudfront et de l’architecture actuelle
Actuellement, Hugging Face exploite les capacités d’AWS Cloudfront pour gérer ses téléchargements, une solution performante mais limitée à des fichiers de 50 Go. Cependant, la taille grandissante des fichiers, notamment dans les répertoires de modèles et de datasets comme Meta-Llama-3-70B, rend ce modèle obsolète. Pour relever ce défi, Hugging Face explore une approche plus sophistiquée.
Le passage au protocole personnalisé CAS
Face aux limitations de Git LFS qui traite les fichiers comme des blocs opaques, Hugging Face introduit un protocole qui s’appuie sur un magasin de contenus adressé (CAS). Ce changement vise à optimiser à la fois la vitesse et la sécurité des transferts, agissant au niveau de l’octet pour une fluidité maximale.
Optimisation régionale du stockage CAS
Pour maximiser les performances de son nouveau protocole, Hugging Face installe intelligemment des nœuds CAS dans trois régions stratégiques: us-east-1, eu-west-3 et ap-southeast-1. Cette répartition assure une couverture efficace des flux de données massifs en provenance des Amériques, de l’Europe et de l’Asie.
Hugging Face réinvente ses transferts de données pour mieux servir ses utilisateurs à l’échelle mondiale, grâce à une approche centrée sur un stockage CAS performant et sécuritaire.
« Avec cette nouvelle architecture, les transferts de données deviennent plus rapides, et l’expérience utilisateur sur Hugging Face s’améliore considérablement. »
Equipe technique de Hugging Face
Cette approche pragmatique de la répartition des ressources assure à Hugging Face de rester à la pointe de l’innovation, tout en minimisant les coûts. Cette stratégie s’adapte aux besoins croissants des développeurs et créateurs du monde entier, leur offrant plus de rapidité et de fiabilité dans le transfert de leurs travaux.