Utiliser Stable Diffusion avec Core ML sur Apple Silicon
Découvrez comment Stable Diffusion fonctionne nativement sur Apple Silicon via Core ML, optimisant performances et accessibilité.
L’arrivée de Stable Diffusion sur Apple Silicon via Core ML marque une avancée significative dans l’évolution de l’intelligence artificielle sur les appareils Apple. Grâce aux efforts des ingénieurs d’Apple, il devient désormais possible d’exécuter des modèles d’IA de pointe directement sur les Mac, et ce, avec des performances impressionnantes.
Conversion des modèles Stable Diffusion pour Core ML
La conversion des poids de Stable Diffusion pour Core ML représente une étape essentielle. En rendant disponibles ces modèles dans le Hugging Face Hub, les utilisateurs peuvent facilement les télécharger et les utiliser. Les modèles couverts comprennent des versions connues comme la v1.4 et la v1.5, toutes optimisées pour maximiser l’utilisation des CPU, GPU et du Neural Engine d’Apple.
Optimisations de performance sur Apple Silicon
Core ML permet de tirer parti de toutes les unités de calcul disponibles sur votre appareil. En fonction des besoins, le modèle peut s’exécuter sur le CPU, le GPU ou le Neural Engine d’Apple, offrant flexibilité et performance. Par exemple, sur un MacBook Pro équipé d’une puce M1 Max, les tests montrent que la génération d’une image avec le modèle Stable Diffusion peut prendre seulement 18 secondes.
Stable Diffusion est désormais optimisé pour Apple Silicon via Core ML, offrant des performances accrues et une accessibilité élargie pour les développeurs sur l’écosystème Apple.
Différences entre implémentations de modèles
Deux implémentations du modèle Stable Diffusion coexistent : l’attention « originale » et « split_einsum ». Bien que « split_einsum » soit compatible avec toutes les unités de calcul, l’attention « originale » peut être plus rapide sur certains matériels, une nuance importante pour optimiser les performances.
« Core ML supports all the compute units available in your device: CPU, GPU and Apple’s Neural Engine. »
Source: https://huggingface.co/blog/diffusers-coreml
Intégration pour développeurs : Python et Swift
L’intégration avec Core ML est facilitée via des scripts en Python pour ceux qui préfèrent cette langue de programmation, mais Swift offre une exécution légèrement plus rapide grâce aux modèles pré-compilés. Cela peut faire une différence notable à l’initialisation.
En conclusion, l’implémentation de Stable Diffusion sur Apple Silicon via Core ML est une avancée importante pour les développeurs cherchant à exploiter le plein potentiel de l’IA sur les appareils Apple. Cela ouvre des perspectives passionnantes pour des applications de plus en plus sophistiquées, en optimisant les ressources matérielles disponibles sur ces appareils.