Avec Arm et ExecuTorch 0.7, l'IA générative devient accessible à des milliards de dispositifs plus anciens, reléguant l'élitisme technologique au passé.
Avec l’annonce récente du SME2 par Arm, le rôle de KleidiAI comme couche d’accélération IA prend tout son sens, surtout avec la sortie de l’ExecuTorch 0.7 en version bêta. Intégré aux frameworks Edge AI populaires, KleidiAI permet des améliorations de performance substantielles sans nécessiter le moindre changement de code. Enfin, des optimisations IA accessibles pour plus d’1,5 milliard d’appareils existants.
ExecuTorch 0.7 : Optimisations instantanées pour développeurs Android
Les développeurs Android bénéficient instantanément des optimisations IA de KleidiAI à travers ExecuTorch et XNNPack. Résultat : démarrages de modèles plus rapides, latence réduite et empreintes mémoires allégées. Ce qui nécessitait autrefois des ajustements spécifiques est désormais une performance clé en main, disponible instantanément. L’efficacité s’ouvre non seulement aux appareils haut de gamme, mais aussi à une gamme de matériels beaucoup plus large.
Déployer l’IA générative même sur les appareils plus anciens
Contrary to common perception, utiliser l’IA générative n’est plus réservé aux derniers smartphones de pointe. Grâce à l’instruction SDOT des CPUs Arm, présente depuis 2015, des dispositifs vieux de 3, 4 ou même 5 ans, sans oublier le Raspberry Pi 5, peuvent chérir l’expérience de l’IA. Inutile de débourser des fortunes pour obtenir un dispositif compatible.
L’ExecuTorch 0.7 offre des capacités IA avancées sur une large gamme d’appareils Arm, optimisant l’expérience de l’IA pour des milliards d’usagers sans mise à jour matérielle coûteuse.
Performances exceptionnelles de Llama 3.2 1B sur Arm
Avec Llama 3.2 1B ayant plus de 20% de performance améliorée grâce à KleidiAI, même le Galaxy S24+ bénéficie de ces améliorations. En découle une vraie capacité pour des applications locales génératives comme la complétion de texte contextuel, rendant les éditeurs de texte locaux plus intelligents et rapides.
« ExecuTorch avec KleidiAI améliore la préremplissage de plus de 350 tokens par seconde, même sur des appareils non phares. »
Équipe ExecuTorch de Hugging Face
Les véritables applications de l’IA : Confidentialité et efficacité
Ces optimisations ne veulent pas seulement favoriser la performance, elles encouragent également à réfléchir à l’usage et à l’avantage concret de l’IA. Pense aux assistants vocaux locaux fonctionnant intégralement offline grâce à l’optimisation SDOT. La confidentialité gagne en importance avec des solutions totalement déconnectées mais tout de même efficaces.
Avec la combinaison de SDOT, KleidiAI, et ExecuTorch, Arm redéfinit l’accessibilité technologique. Oublions le fossé technologique : l’IA générative n’est plus l’apanage des plus avancés, mais une ressource démocratisée. Nul besoin de repousser les limites de l’upgraditis; exploite l’existant et magnifie-le.