AMD dévoile son CPU EPYC Turin, boostant performances IA. Détails, chiffres clés et impact sur vos déploiements.
Avec son architecture Zen5, le nouveau processeur AMD EPYC de 5ème génération, surnommé Turin, marque un tournant majeur. Capable de gérer jusqu’à 192 cœurs et 384 threads, il promet une amélioration significative des performances, particulièrement dans les environnements où les modèles de langue grande échelle (LLM) et les scénarios RAG sont en jeu.
Performance AI : AMD Turin face à AMD Genoa
Les tests de performance réalisés par Hugging Face montrent que le CPU AMD Turin surpasse de loin son prédécesseur, le Genoa. Grâce au plugin ZenDNN pour PyTorch, Turin double le throughput dans la majorité des configurations lors de l’exécution de modèles comme le Meta LLaMA 3.1 8B. En utilisant des types de données bfloat16 et des configurations multi-instance, chaque instance modèle utilise efficacement 32 cœurs physiques par socket, optimisant ainsi le traitement des données et la vitesse computationnelle.
Scénarios Réels : Une Efficacité Démontrée
Pour évaluer l’efficacité réelle du Turin, Hugging Face a exécuté des benchmarks sur des cas d’usage pratiques tels que la summarisation, les chatbots, et la traduction. Dans tous ces scénarios, les serveurs équipés de CPU Turin ont non seulement réduit la latence cible et augmenté le débit maximal, mais ont également permis de diminuer les coûts opérationnels—une aubaine pour les entreprises cherchant à optimiser leurs déploiements AI.
L’AMD EPYC Turin offre des performances doublées par rapport à la génération précédente, réduisant la latence et optimisant le débit pour les modèles AI. Idéal pour les entreprises cherchant efficacité et réductions de coûts.
Optimisation et Compatibilité : Le Plugin ZenDNN
L’intégration du plugin ZenDNN dans le flow de compilation torch.compile permet une optimisation graphique multiple du torch.fx graph. Associée à la version 5.0 de ZenDNN, cette intégration permet d’atteindre une vitesse accrue pour les tâches de deep learning, garantissant que chaque cœur de processeur est utilisé au maximum de son potentiel. Cela se traduit par une gestion optimisée des workloads, essentielle pour les LLMs actuels.
« Le CPU AMD EPYC Turin double le throughput de la majorité des configurations par rapport à son prédécesseur. »
Benchmarking par Hugging Face
Vers une Reproductibilité Simplifiée
Pour permettre une reproductibilité et une facilité d’expérience utilisateur, AMD et Hugging Face développent un Dockerfile optimisé, accompagné de leur code de benchmarking. Ceci facilitera la reproduction des résultats par les entreprises, assurant une transition fluide vers cette nouvelle technologie sans obstacle majeur.
En conclusion, l’AMD EPYC Turin est indiscutablement une avancée notable pour le calcul serveur et l’IA. Son impact sur la performance ne peut être ignoré, surtout pour ceux qui cherchent à maximiser leur retour sur investissement dans des infrastructures AI.