Ai2 dévoile MolmoAct : un modèle IA qui "pense en 3D" pour la robotique
- ARKTechNews
- 16 août
- 2 min de lecture
Ai2 (Allen Institute for AI) a présenté MolmoAct, un modèle d’intelligence artificielle spécialisé du domaine de la robotique incarnée. Il s’agit du premier modèle capable de raisonner dans un espace trois dimensions, là où les modèles traditionnels combinant vision, langage et action (VLA) restent limités, car centrés sur le texte.
Trois étapes pour transformer perception en action
MolmoAct fonctionne en trois phases successives :
Perception spatiale : il génère des « jetons de perception » enrichis en profondeur, permettant d’estimer les distances entre objets.
Planification visuelle : il trace une trajectoire visuelle (sous forme de points de passage dans l’image) indépendamment de la configuration du robot.
Exécution motrice : enfin, il traduit ces trajectoires en commandes concrètes pour les actionneurs, comme les bras robotisés.
Une démarche publique et transparente
Contrairement aux modèles souvent opaques du secteur, MolmoAct est entièrement open-source. Tous les poids, codes d'entraînement et données sont publiés, ce qui en fait un outil ouvert et reproductible pour la recherche.
Des performances validées par des comparaisons rigoureuses
Sur des simulations réalistes, MolmoAct affiche des résultats supérieurs à ceux de modèles concurrents comme ceux développés par Nvidia, Microsoft ou Physical Intelligence. Il atteint notamment 72,1 % de succès sur le benchmark SimplerEnv, et se distingue également dans le test LIBERO qui mesure l’apprentissage multi-tâches et la généralisation.
Conçu pour les environnements domestiques
MolmoAct est principalement formé sur des tâches du quotidien, repérées dans des environnements domestiques (cuisine, salon, chambre). Cette orientation en fait un modèle particulièrement adapté aux contextes non structurés, où les phénomènes évoluent fréquemment.
Une base robuste pour l’avenir de la robotique
Ai2 considère MolmoAct comme le fondement d’une nouvelle génération d’Action Reasoning Models. Ce modèle fait avancer la robotique dans le sens d’une meilleure intelligence et adaptabilité, tout en préservant la transparence scientifique.
Sources :
