Optimisation de Stable Diffusion pour CPUs : révolution des performances

Qui aurait cru qu’on pourrait réduire de 5,1x le temps d’inférence de Stable Diffusion sur des CPUs Intel, tout en diminuant de 4x l’encombrement modèle ? L’optimisation via NNCF et 🤗 Optimum prouve que l’innovation logicielle peut combler l’écart de performance entre CPUs et GPUs.

Optimisation complexe des modèles de diffusion stable

Stable Diffusion, l’un des modèles de génération d’images les plus utilisés, pose de véritables défis lorsqu’il s’agit de l’optimiser pour un matériel contraint. Le modèle UNet, cœur de la pipeline, se révèle particulièrement coûteux en ressources. Les méthodes d’optimisation classiques, comme la quantification 8 bits après entraînement, échouent souvent. En effet, les modèles de prédiction au niveau pixel requièrent une optimisation plus fine pour ne pas sacrifier la précision.

« Utiliser la Quantization-Aware Training (QAT) et l’OpenVINO avec une méthode comme Token Merging est indispensable pour préserver la précision après optimisation. »

Insights sur l’optimisation personnalisée du modèle

Approche méthodique pour l’amélioration des performances

Un processus méthodique commence par un modèle finement ajusté sur des données spécifiques, tel qu’un ensemble d’images de Pokémons. Intégrer QAT de NNCF dans le script d’entraînement permet à la fois l’apprentissage et l’optimisation du modèle. Cette méthode est renforcée par la distillation des connaissances et l’EMA, pour une stabilité accrue durant l’entraînement, réalisable en moins d’une journée sur un GPU.

Utilisation synergique de la quantification et du Token Merging

Au-delà de la simple quantification, des techniques comme le Token Merging, introduites par Facebook Research, réduisent les dimensions de token avant les blocs de self-attention, diminuant ainsi le temps de calcul. Adapté à Stable Diffusion, il optimise la synthèse d’images haute-résolution sur GPU, tout en étant compatible avec OpenVINO et les quantifications 8 bits, réduisant encore plus la latence d’inférence.

Réductions concrètes des temps et empreintes mémoire

Dans un environnement de test rigoureux, le modèle optimisé montre des résultats impressionnants : passant de 230,5 secondes à 44,6 secondes pour l’inférence, et une réduction de l’empreinte mémoire de 3,44 Go à 0,86 Go. Cela met en avant les avantages indéniables d’une optimisation poussée, idéale pour le matériel limité.

Le secteur floral semble être sur le point d’atteindre de nouveaux sommets d’efficacité et d’efficience. Le travail de collaboration représenté par cette méthodologie d’optimisation démontre qu’il n’est plus nécessaire de dépendre exclusivement des GPUs pour résoudre des tâches complexes d’IA. À mesure que les technologies OpenVINO et le cadre NNCF continuent d’évoluer, l’écart entre performance et accessibilité se réduit, promettant un avenir où l’utilisation de l’IA devient omniprésente et intégrée dans les systèmes informatiques quotidiens.