Découvre comment les avancées en AI transforment les plateformes robotiques embarquées malgré leurs contraintes strictes.
Les récents progrès des Modèles de Langage de Grande Taille (LLM) ont permis le passage de la simple raison textuelle à des systèmes multimodaux, intégrant perception visuelle et actions robotiques. Cependant, l’intégration de ces modèles sur des plateformes robotiques embarquées reste un défi majeur en raison des contraintes de calcul, de mémoire et de puissance, ainsi que des exigences de contrôle en temps réel.
Optimisation des performances en temps réel sur i.MX 95 SoC
La performance en temps réel est cruciale pour le fonctionnement des modèles VLA (Vision-Language-Action). Sur les plateformes embarquées comme le NXP i.MX 95 SoC, cette performance repose sur l’optimisation du pipeline de contrôle pour réduire la latence d’inférence. Une gestion asynchrone du processus peut aider, mais nécessite un équilibre précis entre la génération et l’exécution des actions.
L’intégration des modèles d’action visuels-linguistiques sur des systèmes embarqués exige une ingénierie complexe. Les solutions consistent en une optimisation matérielle et logicielle étroitement alignée.
Consignation de données fiables pour l’entraînement des modèles
Une collecte de données de haute qualité est essentielle pour l’optimisation et l’entraînement des modèles. Lors de l’enregistrement du dataset pour le modèle VLA, chaque détail compte : caméras fixes, éclairage contrôlé, et agents de préhension optimisés sont des pratiques qui garantissent une précision optimale. En fixant des caméras sur des supports rigides et en contrôlant l’éclairage, on évite des pertes de précision importantes dues au déplacement ou au changement des conditions d’enregistrement.
L’importance d’une caméra sur le préhenseur
Ajouter une caméra sur le préhenseur améliore considérablement le taux de réussite lors de tâches de manipulation fine. Elle offre une vue rapprochée et pertinente pour la tâche, tout en renforçant la fiabilité de la collecte des données en évitant toute observation directe et potentiellement biaisée de la scène par l’opérateur.
« Utiliser une caméra montée sur le préhenseur reste l’une des pratiques les plus efficaces pour améliorer les performances des tâches de manipulation fine. »
NXP Robotics Team
Diversité et répartition des datasets
En diversifiant les positions de départ des épisodes et en introduisant des scénarios de récupération, on évite le surapprentissage sur les ensembles d’entraînement, améliorant ainsi la généralisation des modèles. Par exemple, dans des expérimentations, 20 % des épisodes couvrent des cas de récupération, ce qui accroît le taux de succès global du modèle.
Pour maximiser l’utilité des datasets, il est conseillé de varier non seulement la distribution des positions de départ, mais aussi les rotations et positions d’objets. Ces bonnes pratiques sont fortement reflétées dans les publications actuelles sur les modèles VLA.
Adopter ces techniques d’optimisation et de collecte de données permet de tirer parti des avancées récentes en AI multimodale au sein de systèmes robotiques embarqués. Pourtant, sans une planification minutieuse et une optimisation continue, ces systèmes ne pourraient jamais atteindre leur plein potentiel.