Des chercheurs branchent GPT-6 Astra directement sur un robot pour ranger une cuisine inconnue

Un humanoïde nettoie une cuisine inconnue avec GPT-6 Astra aux commandes

Des chercheurs de Stanford et Caltech ont construit un système appelé HomeBody qui permet à un robot humanoïde Unitree G1 d'entrer dans une cuisine qu'il n'a jamais vue, de ranger l'espace et de sortir des objets des tiroirs sans qu'une personne ne dirige ses mouvements. Le robot fonctionne sous GPT-6 Astra, et la démonstration s'ajoute à un ensemble croissant de preuves que le modèle se transpose utilement du texte et des images vers des machines qui se déplacent physiquement dans le monde.

Ce qui est remarquable, ce n'est pas qu'un robot puisse saisir des objets — les bras d'usine le font depuis des décennies. C'est que cette machine a déterminé quoi faire dans une pièce dont elle n'avait jamais rencontré la disposition, en utilisant un modèle polyvalent plutôt qu'un pipeline conçu spécifiquement pour cette cuisine.

Comment HomeBody est assemblé

GPT-6 Astra appelle directement une bibliothèque de compétences

La plupart des piles d'apprentissage robotique insèrent une couche de contrôle entraînée entre le modèle de langage et le matériel. Cette couche — souvent un réseau de politique ou un planificateur de mouvement affiné sur des données spécifiques à la tâche — convertit l'intention de haut niveau en commandes articulaires. HomeBody la supprime. Un modèle vision-langage interchangeable, en l'occurrence GPT Astra, émet des appels directement dans une bibliothèque extensible de compétences couvrant la saisie, la navigation et l'ouverture de tiroirs. Parce que la bibliothèque est modulaire, des capacités individuelles peuvent être ajoutées ou remplacées sans réentraîner l'ensemble du système, et le VLM sous-jacent lui-même peut être échangé contre un autre modèle.

Explorer d'abord, mémoriser ensuite

Avant de manipuler quoi que ce soit, le robot explore la pièce. Il construit un jumeau numérique de la cuisine dans Isaac Sim de Nvidia, puis enregistre les objets et leurs positions dans une mémoire spatiale. C'est cette mémoire qui permet à la machine de localiser un objet après qu'il est sorti de son champ de vision — routine pour une personne, mais véritablement difficile pour les systèmes qui ne raisonnent que sur ce que la caméra capture actuellement.

Planifier, agir, s'auto-corriger

Étant donné une instruction vague telle que « ranger la cuisine », le modèle de langage décompose la tâche en étapes, les exécute via la bibliothèque de compétences et s'auto-corrige en cas de problème. Le plan n'est pas un script fixe. Il s'adapte à ce que le robot découvre et aux échecs au fur et à mesure, ce qui fait la différence entre l'automatisation et quelque chose de plus proche d'un comportement polyvalent.

Pourquoi supprimer la couche de contrôle compte

Retirer l'intermédiaire entraîné change l'économie et la flexibilité de l'ensemble du système de plusieurs manières.

• Généralisation : le robot n'est pas limité à une seule disposition de cuisine ou à une liste de tâches étroite, car le raisonnement provient du modèle plutôt que de données collectées pour un environnement unique.
• Modularité : les compétences peuvent être étendues indépendamment, et le modèle vision-langage peut être remplacé à mesure que de meilleurs apparaissent.
• Interprétabilité de l'intention : les instructions peuvent être données en langage ordinaire au lieu d'être compilées dans des contrôleurs sur mesure.

Le compromis est qu'un modèle de pointe siège désormais dans la boucle de contrôle, ce qui est précisément là où les faiblesses du système deviennent les plus visibles.

Où le système peine encore

Le compte rendu de l'équipe est franc sur les lacunes, et celles-ci se concentrent autour du coût de s'appuyer sur un grand modèle en temps réel.

• Latence : les temps de réponse de GPT-6 Astra sont un facteur limitant lorsque le robot doit réagir à une scène physique changeante.
• Contrainte matérielle : les servomoteurs des doigts surchauffent lors d'une manipulation prolongée, une contrainte mécanique qu'aucune qualité de modèle ne peut masquer.
• Coût de calcul : maintenir un modèle de pointe dans la boucle est coûteux, ce qui compte pour quiconque imagine cela fonctionner dans une maison plutôt que dans un laboratoire.

Aucun de ces problèmes n'est trivial. La latence et la surchauffe sont le genre de problèmes qui apparaissent après la fin des vidéos de démonstration, lorsqu'un système doit fonctionner pendant des heures plutôt que des minutes. Le coût de calcul détermine si une approche comme HomeBody quitte un jour le cadre de la recherche.

Questions de sécurité et bilan des benchmarks

HomeBody arrive dans un contexte mitigé. Des benchmarks antérieurs ont montré que le raisonnement spatial d'Astra s'était substantiellement amélioré — un prérequis pour un modèle qui doit raisonner sur l'emplacement des choses et la manière de les atteindre. En parallèle, des travaux distincts ont signalé des problèmes de sécurité lorsque Astra se voit confier le contrôle d'un robot. Ces deux constats coexistent inconfortablement : la même capacité qui rend le modèle utile pour la manipulation augmente aussi les enjeux lorsque son jugement est erroné.

Un modèle de langage émettant des commandes directes dans une bibliothèque de compétences comprime la distance entre une mauvaise décision et une conséquence physique. L'absence d'une couche de contrôle entraînée supprime un filtre qui aurait pu auparavant contraindre des actions implausibles ou dangereuses. Cela ne rend pas l'approche impraticable, mais cela signifie que l'évaluation de la sécurité doit avancer au même rythme que l'évaluation des capacités plutôt que de traîner derrière.

La poussée plus large vers l'IA incarnée

HomeBody s'inscrit au milieu d'un changement plus large. OpenAI a déjà annoncé son intention de revenir à la robotique, y compris des machines destinées à un usage personnel. Cette ambition donne à des démonstrations comme celle-ci un contexte commercial au-delà de l'académique : si un modèle général peut faire fonctionner un humanoïde dans une pièce inconnue, l'argument pour construire du matériel autour d'un seul modèle puissant devient beaucoup plus fort.

Le travail de Stanford et Caltech se lit mieux comme un test de cette prémisse. Il ne prétend pas résoudre la robotique domestique. Il montre que la couche que la plupart des chercheurs supposaient nécessaire — un contrôleur entraîné faisant le pont entre le langage et le mouvement — peut, au moins dans cette configuration, être remplacée par des appels directs dans une bibliothèque de compétences réutilisables.

Le code est public, et les questions restent ouvertes

Le code de HomeBody est disponible sur GitHub, ce qui signifie que d'autres groupes peuvent sonder la même architecture sur différents robots et différentes pièces. Les questions intéressantes sont désormais empiriques. Dans quelle mesure les performances se dégradent-elles lorsque la cuisine est plus en désordre, que les objets sont inconnus ou que la tâche s'étend sur des heures ? Quelle part du succès vient de la bibliothèque de compétences et quelle part du raisonnement propre du modèle ? Et que se passe-t-il lorsque la latence, la chaleur et les budgets de calcul sont traités comme des contraintes de premier ordre plutôt que comme des notes de bas de page ?

Pour l'instant, la démonstration constitue un point de données supplémentaire montrant que GPT-6 Astra fonctionne bien avec les robots — et un rappel que l'écart entre une démo de cuisine convaincante et une machine domestique fiable se mesure encore en servomoteurs, en secondes et en dollars.

Cet article est basé sur un reportage de The Decoder. Lire l'article original.