Découvrez comment NVIDIA et 35 partenaires créent l'avenir de la robotique chirurgicale avec un dataset novateur et des modèles IA avancés.
Pendant des années, l’IA en santé s’est concentrée sur l’analyse des signaux et la classification des pathologies. Mais la robotique chirurgicale, elle, exige bien plus que de simples perceptions : elle a besoin d’une véritable interaction physique. Avec les 778 heures de données du nouveau dataset Open-H-Embodiment, NVIDIA et 35 partenaires internationaux cherchent à transformer la robotique chirurgicale en introduisant des modèles d’IA capables de manipuler et de contrôler les robots avec précision.
Open-H-Embodiment : un dataset pionnier pour la robotique chirurgicale
Open-H-Embodiment ne se contente pas d’être un ensemble de données massives sur la robotique en santé; c’est un projet collaboratif sans précédent. Élaboré par 35 organisations, incluant des géants comme Johns Hopkins et l’Université Technique de Munich, ce dataset vise à standardiser les bases pour les modèles de fondation physiques en robotique chirurgicale. Il inclut des simulations, des exercices sur table, ainsi que des procédures cliniques réelles, couvrant des technologies allant des robots commerciaux comme le CMR Surgical, aux robots de recherche comme le dVRK.
GR00T-H : le modèle IA vision-langage-action pour la chirurgie
Avec GR00T-H, NVIDIA repousse les limites de ce qu’on pensait possible en robotique chirurgicale. Ce modèle, dérivé de la série Isaac GR00T N, donne aux robots la capacité d’agir avec une précision hors norme grâce à un apprentissage basé sur 600 heures de données du dataset Open-H-Embodiment. En utilisant des projecteurs d’incarnation unique à MLP, GR00T-H parvient à normaliser l’action des robots vers un espace partagé, une avancée qui permet aux robots d’exécuter des tâches complexes comme le suturage.
Avec Open-H-Embodiment et les modèles comme GR00T-H, NVIDIA transforme la robotique chirurgicale en lui offrant des bases de données et des modèles d’IA avancés. C’est une avancée majeure pour les procédures chirurgicales automatisées.
Cosmos-H-Surgical-Simulator : combler le fossé entre simulation et réalité
Pour entraîner les robots chirurgicaux à des niveaux de complexité jamais atteints, le simulateur Cosmos-H-Surgical-Simulator offre une solution innovante. Finement ajusté à partir du modèle NVIDIA Cosmos Predict 2.5 2B, ce simulateur génère des vidéos chirurgicales réalistes à partir de commandes cinématiques, réduisant drastiquement le temps de formation sur des plateformes physiques. Grâce à son espace d’action unifié en 44 dimensions, il simule avec précision la déformation des tissus et l’interaction avec les outils.
« Ce projet marque une rupture, en permettant des gains d’efficacité impressionnants et une meilleure intégration du sim-to-real dans le quotidien chirurgical. »
Commentaire sur les capacités du simulateur Cosmos-H
Vers une autonomie raisonnée en robotique chirurgicale
L’avenir de la robotique chirurgicale va au-delà de la simple exécution de tâches. La prochaine étape d’Open-H-Embodiment consiste à doter les robots d’une autonomie raisonnée, capable d’analyser, de planifier et de s’adapter au cours de procédures longues et complexes. Cela impliquera de créer des datasets capables de capturer les intentions et les modes d’échec, ouvrant la voie à des systèmes de santé plus intelligents et plus autonomes.
En mettant à disposition ce vaste corpus de données et ces modèles puissants, NVIDIA redéfinit les standards de la robotique en guérison. Si tu veux contribuer à cette avancée, le projet Open-H t’ouvre ses portes pour collaborer à l’avenir de la médecine robotisée.