NVIDIA Cosmos 3 Edge : Nouveau pas pour l’IA en robotique
Dévoilement de Cosmos 3 Edge par NVIDIA, propulsant robots et IA de vision dans l'analyse en temps réel.
Dans un monde où les machines doivent s’adapter rapidement à leur environnement, NVIDIA introduit Cosmos 3 Edge. Cette avancée permet aux systèmes d’IA physique de comprendre les changements de scène, anticiper les événements et agir en conséquence, le tout avec une efficacité mémorielle remarquable.
Une compréhension de l’environnement en temps réel
Cosmos 3 Edge est un modèle de 4 milliards de paramètres qui offre une compréhension accrue des environnements physiques. Conçu pour fonctionner sur des systèmes contraints en mémoire, il fournit des performances comparables à celles d’un centre de données. Ce modèle s’avère particulièrement utile dans des lieux tels que les usines ou les hôpitaux, où la précision et la rapidité sont essentielles.
Le modèle world-action de Cosmos 3 Edge
Reposant sur des résolutions de contrôle robotique de 640×360, Cosmos 3 Edge est capable de générer 32 actions par inférence, atteignant une cadence de contrôle en temps réel de 15 Hz sur les appareils NVIDIA Jetson. Cette performance place le modèle en tête du classement VANTAGE-Bench pour l’analyse visuelle.
« Cosmos 3 Edge propose une représentation actionnelle commune, alliant prédiction visuelle et conséquence de l’action. »
NVIDIA
Les deux tours du transformeur de Cosmos 3
Ces deux tours, l’une autoregressive et l’autre de diffusion, permettent au modèle de traiter des jetons de vision et de texte pour comprendre et générer des prédictions. Cette architecture multimodale assure que les systèmes IA restent alignés sur les contextes de langage, vidéo, audio et action.
Cosmos 3 Edge établit un nouveau standard pour l’IA en robotique. Il optimise l’usage des modèles à la périphérie et améliore drastiquement la précision et la réactivité.
Un atout pour les développeurs
En plus du modèle de base, Nvidia publie des articles de référence post-entraînement pour aider les développeurs à adapter Cosmos 3 à leurs applications spécifiques. Cela inclut des checkpoints distillés pour faciliter l’intégration personnalisée.
La véritable innovation réside dans la capacité de Cosmos 3 à être post-entraîné pour différentes tâches, augmentant ainsi l’exactitude des applications spécialisées tout en préservant la qualité du rendu.
En conclusion, NVIDIA Cosmos 3 Edge est une avancée marquante pour quiconque cherche à intégrer l’intelligence artificielle dans les systèmes embarqués. Il transcende les limites des modèles précédents en offrant un niveau de compréhension et de réactivité essentiel pour le développement futur de la robotique et des infrastructures intelligentes.