Investigadores conectan GPT-6 Astra directamente a un robot para ordenar una cocina desconocida

Un humanoide limpia una cocina desconocida con GPT-6 Astra al mando

Investigadores de Stanford y Caltech han construido un sistema llamado HomeBody que permite a un robot humanoide Unitree G1 entrar en una cocina que nunca ha visto, ordenar el espacio y sacar objetos de los cajones sin que una persona dirija sus movimientos. El robot funciona con GPT-6 Astra, y la demostración se suma a un creciente conjunto de evidencia de que el modelo se transfiere de manera útil desde texto e imágenes a máquinas que se mueven físicamente por el mundo.

Lo que destaca no es que un robot pueda agarrar objetos — los brazos de fábrica lo han hecho durante décadas. Es que esta máquina determinó qué hacer en una habitación cuya distribución nunca había encontrado, utilizando un modelo de propósito general en lugar de una tubería diseñada específicamente para esa cocina.

Cómo se ensambla HomeBody

GPT-6 Astra llama directamente a una biblioteca de habilidades

La mayoría de las pilas de aprendizaje robótico insertan una capa de control entrenada entre el modelo de lenguaje y el hardware. Esa capa — a menudo una red de políticas o un planificador de movimiento refinado con datos específicos de la tarea — convierte la intención de alto nivel en comandos a nivel de articulación. HomeBody la elimina. Un modelo de visión-lenguaje intercambiable, en este caso GPT Astra, emite llamadas directamente a una biblioteca extensible de habilidades que abarcan agarre, navegación y apertura de cajones. Debido a que la biblioteca es modular, las habilidades individuales se pueden agregar o reemplazar sin reentrenar todo el sistema, y el propio VLM subyacente puede intercambiarse por otro modelo.

Explorar primero, recordar después

Antes de manipular cualquier cosa, el robot inspecciona la habitación. Construye un gemelo digital de la cocina dentro de Isaac Sim de Nvidia, luego registra objetos y sus posiciones en una memoria espacial. Esa memoria es lo que permite a la máquina localizar un objeto después de que haya salido de su campo de visión — algo rutinario para una persona, pero genuinamente difícil para sistemas que razonan solo sobre lo que la cámara captura en ese momento.

Planificar, actuar, autocorregirse

Dada una instrucción vaga como "limpia la cocina", el modelo de lenguaje descompone el trabajo en pasos, los ejecuta a través de la biblioteca de habilidades y se autocorrige cuando algo sale mal. El plan no es un guion fijo. Se adapta a lo que el robot descubre y a los fallos a medida que ocurren, que es la diferencia entre automatización y algo más cercano al comportamiento de propósito general.

Por qué importa eliminar la capa de control

Eliminar el intermediario entrenado cambia la economía y la flexibilidad de todo el sistema de varias maneras.

• Generalización: el robot no está limitado a una única distribución de cocina o a una lista estrecha de tareas, porque el razonamiento proviene del modelo en lugar de datos recopilados para un entorno.
• Modularidad: las habilidades se pueden extender de forma independiente, y el modelo de visión-lenguaje se puede cambiar a medida que aparecen mejores.
• Interpretabilidad de la intención: las instrucciones se pueden dar en lenguaje común en lugar de compilarse en controladores a medida.

La contrapartida es que un modelo de frontera ahora se sitúa dentro del bucle de control, que es precisamente donde las debilidades del sistema se vuelven más visibles.

Dónde sigue teniendo dificultades el sistema

El relato del equipo es franco sobre las deficiencias, y se agrupan en torno al costo de apoyarse en un modelo grande en tiempo real.

• Latencia: los tiempos de respuesta de GPT-6 Astra son un factor limitante cuando el robot tiene que reaccionar a una escena física cambiante.
• Tensión del hardware: los servos de los dedos se sobrecalientan durante la manipulación prolongada, una restricción mecánica que ninguna cantidad de calidad del modelo puede ocultar.
• Costo de cómputo: mantener un modelo de frontera en el bucle es costoso, lo que importa para cualquiera que imagine esto funcionando en un hogar en lugar de un laboratorio.

Ninguno de estos es trivial. La latencia y el sobrecalentamiento son el tipo de problemas que surgen después de que terminan los videos de demostración, cuando un sistema tiene que funcionar durante horas en lugar de minutos. El costo de cómputo determina si un enfoque como HomeBody alguna vez sale del ámbito de la investigación.

Preguntas de seguridad y el historial de referencia

HomeBody llega en un contexto mixto. Benchmarks anteriores mostraron que el razonamiento espacial de Astra había mejorado sustancialmente — un requisito previo para un modelo que tiene que razonar sobre dónde están las cosas y cómo alcanzarlas. Al mismo tiempo, un trabajo separado señaló problemas de seguridad cuando se le da a Astra el control de un robot. Esos dos hallazgos se sientan incómodamente juntos: la misma capacidad que hace útil al modelo para la manipulación también aumenta lo que está en juego cuando su juicio es erróneo.

Un modelo de lenguaje que emite comandos directos a una biblioteca de habilidades comprime la distancia entre una mala decisión y una consecuencia física. La ausencia de una capa de control entrenada elimina un filtro que antes podría haber restringido acciones inverosímiles o inseguras. Eso no hace que el enfoque sea inviable, pero sí significa que la evaluación de seguridad tiene que avanzar junto con la evaluación de capacidades en lugar de ir por detrás.

El impulso más amplio hacia la IA encarnada

HomeBody aterriza en medio de un cambio más amplio. OpenAI ya ha anunciado planes para volver a la robótica, incluidas máquinas destinadas al uso personal. Esa ambición da a demostraciones como esta un contexto comercial más allá de lo académico: si un modelo general puede operar un humanoide en una habitación desconocida, el argumento para construir hardware en torno a un único modelo potente se vuelve mucho más fuerte.

El trabajo de Stanford y Caltech se lee mejor como una prueba de esa premisa. No afirma resolver la robótica doméstica. Muestra que la capa que la mayoría de los investigadores asumía necesaria — un controlador entrenado que une lenguaje y movimiento — puede, al menos en esta configuración, ser reemplazada por llamadas directas a una biblioteca de habilidades reutilizables.

El código es público y las preguntas están abiertas

El código de HomeBody está disponible en GitHub, lo que significa que otros grupos pueden probar la misma arquitectura en diferentes robots y habitaciones. Las preguntas interesantes ahora son empíricas. ¿Cuánto se degrada el rendimiento cuando la cocina está más desordenada, los objetos no son familiares o la tarea se extiende durante horas? ¿Cuánto del éxito proviene de la biblioteca de habilidades y cuánto del razonamiento propio del modelo? ¿Y qué sucede cuando la latencia, el calor y los presupuestos de cómputo se tratan como restricciones de primer orden en lugar de notas al pie?

Por ahora, la demostración se erige como otro dato de que GPT-6 Astra funciona bien con robots — y como un recordatorio de que la brecha entre una demostración de cocina convincente y una máquina doméstica confiable todavía se mide en servos, segundos y dólares.

Este artículo se basa en reportajes de The Decoder. Lea el artículo original.