Intel Sapphire Rapids : Optimisation PyTorch pour Transformers
Découvrez comment Intel Sapphire Rapids booste PyTorch Transformers avec de nouvelles instructions CPU. Efficacité et économies au programme.
Optimiser l’entraînement de modèles de deep learning est souvent synonyme de puissance GPU. Mais avec l’arrivée des processeurs Intel Xeon de quatrième génération, nommés Sapphire Rapids, la donne pourrait changer. Grâce à de nouvelles extensions comme AMX, ces CPUs promettent d’accélérer des tâches gourmandes en ressources, tout en restant accessibles financièrement grâce à des options comme les instances spot d’AWS.
Instructions AMX : Une avancée pour le deep learning
Les nouvelles Intel Advanced Matrix Extensions (AMX) introduites par Sapphire Rapids optimisent des opérations de base des modèles DL, telles que la multiplication de matrices. Supportant les types BF16 et INT8, ces instructions offrent une flexibilité adaptée aux différents scénarios d’entraînement, sans nécessiter de modifications dans le code existant. Sur Linux, un noyau v5.16 est requis pour en bénéficier, mais AWS et Intel ont déjà livré des patchs compatibles.
Clustering avec Amazon EC2 R7iz
Construire un cluster avec les CPUs Sapphire Rapids via Amazon EC2 R7iz est possible, bien que cette gamme soit encore en aperçu. En optant pour des instances bare metal r7iz.metal-16xl, on exploite pleinement le potentiel des AMX. Pour configurer efficacement, créer une AMI à partir d’un nœud maître réduit le besoin de configurations manuelles répétitives sur chaque serveur. AWS facilite le processus avec des groupes de sécurité pour assurer une communication sans entrave.
Coûts sous contrôle grâce aux instances spot
Les CPU Xeon, tout en étant performants pour les charges de travail DL, sont moins coûteux que les GPU. Avec les instances spot, basées sur des capacités inutilisées, les entreprises peuvent réduire leurs coûts jusqu’à 90%. Cela fait des CPUs une option attrayante, surtout pour les tests et projets pilotés.
Les CPUs Intel Sapphire Rapids optimisent l’entraînement DL avec AMX, offrant une alternative viable aux GPU. Des économies importantes sont possibles grâce aux instances spot et à l’intégration sans effort dans l’écosystème cloud.
« Les instructions AMX apportent un gain significatif en performance pour les entraînements de modèles DL »
Julien Simon, Hugging Face
Sapphire Rapids ouvre de nouvelles perspectives pour les développeurs cherchant à optimiser l’entraînement de modèles DL sans exploser leur budget. Il sera fascinant de suivre l’évolution de cette technologie et son adoption dans le milieu, prouvant que les CPU ont encore de sérieux atouts à faire valoir face à la suprématie des GPU.