Accélération de Stable Diffusion avec Core ML sur Apple
Découvrez comment Core ML améliore drastiquement la vitesse de Stable Diffusion sur iPhone, iPad et Mac grâce à des techniques d'optimisation avancées.
Lors de la WWDC’23, une annonce a été faite qui intéresse particulièrement les développeurs : l’amélioration de Core ML, optimisée pour exploiter Stable Diffusion plus rapidement avec moins de mémoire. Imagine tester la diffusion stable sur ton iPhone avec des vitesses qui étaient auparavant inimaginables grâce à une palettisation à 6 bits.
Nouvelles optimisations de Core ML
Le cadre Core ML est connu pour sa capacité à exécuter efficacement des modèles de machine learning sur les appareils Apple. Cependant, les dernières mises à jour ont transformé Core ML en une véritable machine de guerre pour la performance sur mobile. Deux principaux changements incluent l’amélioration des techniques de compression et d’optimisation. Désormais, grâce à la palettisation 6 bits, les poids des modèles peuvent être compressés de 16 bits en seulement 6 bits, réduisant ainsi la taille et le temps de transfert des données tout en optimisant l’utilisation mémoire.
Utilisation des modèles optimisés de Stable Diffusion
Le projet open-source ml-stable-diffusion a été mis à jour pour tirer parti de ces innovations. Désormais, les modèles peuvent être quantifiés jusqu’à 2 bits, bien que le meilleur équilibre entre performance et précision se trouve à 6 bits. Ces dernières optimisations sont particulièrement efficaces sur le Neural Engine des appareils compatibles, garantissant une amélioration de performance significative de 10% à 30% grâce à la technique SPLIT_EINSUM_V2.
Apple développe Core ML pour optimiser Stable Diffusion, réduisant la taille des modèles et accélérant l’inférence sur iPhone, iPad et Mac en exploitant la palettisation 6 bits.
Déploiement des modèles compressés
Avec iOS/iPadOS 17 et macOS 14, les développeurs peuvent accéder aux dernières améliorations. Les modèles Stable Diffusion sont disponibles en format Core ML et peuvent être intégrés facilement dans des applications natives. Apple facilite les tests grâce à une application de démonstration, bientôt disponible sur l’App Store, qui permet de sélectionner et d’expérimenter les modèles optimisés.
« Le passage à une palettisation 6 bits avec Core ML marque un saut significatif dans l’efficacité des modèles de diffusion stable sur les appareils mobiles. »
WWDC’23
Impact et adoption future
Les gains en efficacité apportés par Core ML et la palettisation 6 bits ouvrent la voie à de nouvelles applications et cas d’utilisations pour les développeurs. Avec un accès direct aux modèles optimisés, l’écosystème Apple devient de plus en plus attrayant pour l’IA mobile.
En conclusion, l’amélioration de Core ML est un pas décisif pour faire de Stable Diffusion une technologie couramment utilisée sur les appareils personnels. Pour les développeurs, c’est une occasion en or pour créer des applications plus performantes et optimisées en termes de ressources matérielles.