Hugging Face acquiert XetHub pour optimiser le stockage et la collaboration sur les grands ensembles de données IA.
Cela n’arrive pas tous les jours : Hugging Face vient d’acquérir XetHub, une start-up de Seattle spécialisée dans l’optimisation des pratiques de génie logiciel pour le développement en IA. Fondée par d’anciens ingénieurs d’Apple, XetHub a pour mission d’adapter Git pour gérer des dépôts de téraoctets, rendant possible la collaboration sur de vastes ensembles de données.
Optimisation du stockage : un enjeu majeur pour Hugging Face
Avec l’intégration de XetHub, Hugging Face repense sa méthode de stockage. Actuellement, Git LFS est utilisé, mais il montre des limites face à des fichiers d’une taille colossale comme le 10GB Parquet. Avec la technologie de XetHub, un simple ajout de ligne ne nécessitera plus de ré-upload massif, mais seulement des fragments modifiés, réduisant ainsi l’empreinte numérique et accélérant les interactions.
Nouvelles perspectives pour les communautés IA et entreprises
Les capacités de stockage et de gestion de données de XetHub vont permettre de nouvelles avancées, en particulier face aux modèles de plusieurs milliards de paramètres comme le BigLlama-3.1-1T. Les entreprises pourront ainsi gérer des volumes de données bien plus importants, favorisant un développement collaboratif et agile adapté à la croissance rapide des besoins en IA.
Statistiques et impact de Hugging Face Hub
Avec plus de 1,3 million de modèles, 450 000 ensembles de données et 680 000 espaces, sans parler de la bande passante quotidienne de 6PB, Hugging Face incarne déjà une infrastructure de référence. L’ajout des innovations de XetHub pourrait encore amplifier cette dynamique, ouvrant la voie à de nouvelles applications et collaborations à grande échelle.
« Ce que j’avais sous-estimé, c’est la puissance des données »
Yucheng Low, co-fondateur de XetHub
L’acquisition de XetHub par Hugging Face promet une avancée significative dans le stockage optimisé et la collaboration pour l’IA, répondant aux défis grandissants des big data.
Pour Hugging Face, l’intégration de XetHub marque un tournant vers une infrastructure encore plus robuste et versatile, coiffant au poteau les services existants et traçant la voie pour les besoins futurs. Une stratégie claire pour accroitre sa position de leader dans un secteur en pleine expansion, où l’agilité et l’efficacité sont plus que jamais essentielles.