Découvrez comment TGI et Intel Gaudi transforment l'inférence de modèles de langue avec des options de déploiement et une réduction des coûts significative.
Le support matériel de l’Intel Gaudi est désormais intégré dans la solution d’inférence TGI pour les modèles de grande taille. Cette intégration promet plusieurs nouveaux choix de déploiement pour la communauté open-source AI en maximisant l’usage des accélérateurs AI spécialisés d’Intel.
Intégration de Gaudi dans TGI : Support natif et multi-backend
L’intégration du support Gaudi au sein du code principal de TGI marque une avancée significative pour l’écosystème LLM. Précédemment, cette utilisation nécessitait un fork dédié, limitant l’accès aux fonctionnalités récentes de TGI. Aujourd’hui, l’architecture multi-backend de TGI élimine ces obstacles. Cela permet de prendre en charge directement Gaudi, incluant toute la gamme hardware: Gaudi1 sur AWS, Gaudi2 sur Intel Tiber AI Cloud, et Gaudi3 également disponible chez Dell, HP et Supermicro.
Avantages matériels et coût d’efficacité
L’usage de Gaudi dans TGI offre des avantages indéniables. Diversité du matériel permettant d’aller au-delà des GPU traditionnels et offrant une efficacité de coût remarquable sur certaines charges de travail. En plus, la robustesse de TGI avec ses fonctionnalités comme le dynamic batching ou les réponses streamées est maintenant disponible sur Gaudi, incluant le support des modèles populaires tels que Llama 3.1 et Mistral.
Grâce à Intel Gaudi, le déploiement de LLMs dans TGI devient plus diversifié et économique tout en maintenant une performance robuste, essentiel pour les développeurs cherchant à optimiser coût et efficacité.
Comment démarrer avec TGI sur Gaudi
Pour commencer, il suffit d’utiliser l’image Docker officielle sur une machine avec hardware Gaudi. L’exemple fournit montre comment partager un volume de données avec le container, évitant ainsi le téléchargement de poids à chaque exécution. Les commandes curl permettent d’envoyer des requêtes d’inférence facilement, facilitant l’implémentation rapide dans des environnements variés.
Optimisations et caractéristiques avancées
Les modèles tels que Llama et Mistral ont été optimisés pour les configurations single et multi-carte sur Gaudi, assurant ainsi les meilleures performances possibles. Grâce à FP8 quantization d’Intel Neural Compressor, une optimisation supérieure des performances peut être obtenue. Des développements à venir incluront de nouveaux modèles puissants pour étendre le potentiel de vos applications AI.
« Le support de Gaudi dans TGI illustre clairement notre engagement à fournir des outils flexibles et prêts pour la production. »
Hugging Face Blog
En introduisant Intel Gaudi directement dans TGI, nous avons fait un pas décisif vers une solution d’inférence plus flexible et performante. Ce partenariat ouvre la voie à des déploiements d’IA encore plus ambitieux et optimisés.