Pesquisadores conectam o GPT-6 Astra diretamente a um robô para arrumar uma cozinha desconhecida

Um humanoide limpa uma cozinha desconhecida com o GPT-6 Astra no controle

Pesquisadores de Stanford e do Caltech construíram um sistema chamado HomeBody que permite a um robô humanoide Unitree G1 entrar em uma cozinha que nunca viu, arrumar o espaço e retirar itens de gavetas sem que uma pessoa conduza seus movimentos. O robô roda com o GPT-6 Astra, e a demonstração se soma a um conjunto crescente de evidências de que o modelo se transfere de forma útil de texto e imagens para máquinas que se movem fisicamente pelo mundo.

O que chama atenção não é que um robô consiga agarrar objetos — braços de fábrica fazem isso há décadas. É que essa máquina descobriu o que fazer em uma sala cujo layout nunca havia encontrado, usando um modelo de propósito geral em vez de um pipeline projetado especificamente para aquela cozinha.

Como o HomeBody é montado

O GPT-6 Astra chama diretamente uma biblioteca de habilidades

A maioria das pilhas de aprendizado robótico insere uma camada de controle treinada entre o modelo de linguagem e o hardware. Essa camada — frequentemente uma rede de política ou um planejador de movimento refinado com dados específicos da tarefa — converte a intenção de alto nível em comandos de nível de junta. O HomeBody a remove. Um modelo de visão-linguagem intercambiável, neste caso o GPT Astra, emite chamadas diretamente para uma biblioteca extensível de habilidades que abrange agarrar, navegar e abrir gavetas. Como a biblioteca é modular, habilidades individuais podem ser adicionadas ou substituídas sem retreinar todo o sistema, e o próprio VLM subjacente pode ser trocado por outro modelo.

Explorar primeiro, memorizar depois

Antes de lidar com qualquer coisa, o robô examina a sala. Ele constrói um gêmeo digital da cozinha dentro do Isaac Sim, da Nvidia, e então registra objetos e suas posições em uma memória espacial. É essa memória que permite à máquina localizar um item depois que ele sai do campo de visão do robô — rotina para uma pessoa, mas genuinamente difícil para sistemas que raciocinam apenas sobre o que a câmera captura no momento.

Planejar, agir, autocorrigir-se

Diante de uma instrução vaga como "limpe a cozinha", o modelo de linguagem decompõe a tarefa em etapas, executa-as por meio da biblioteca de habilidades e se autocorrige quando algo dá errado. O plano não é um script fixo. Ele se adapta ao que o robô descobre e às falhas conforme elas acontecem, o que é a diferença entre automação e algo mais próximo de um comportamento de propósito geral.

Por que abandonar a camada de controle importa

Remover o intermediário treinado muda a economia e a flexibilidade de todo o sistema de várias maneiras.

• Generalização: o robô não fica preso a um único layout de cozinha ou a uma lista restrita de tarefas, porque o raciocínio vem do modelo, e não de dados coletados para um ambiente específico.
• Modularidade: as habilidades podem ser estendidas de forma independente, e o modelo de visão-linguagem pode ser trocado conforme modelos melhores surgirem.
• Interpretabilidade da intenção: as instruções podem ser dadas em linguagem comum, em vez de serem compiladas em controladores sob medida.

O trade-off é que um modelo de fronteira agora fica dentro do loop de controle, que é exatamente onde as fraquezas do sistema se tornam mais visíveis.

Onde o sistema ainda tem dificuldades

O relato da equipe é franco sobre as deficiências, e elas se concentram no custo de depender de um modelo grande em tempo real.

• Latência: os tempos de resposta do GPT-6 Astra são um fator limitante quando o robô precisa reagir a uma cena física em mudança.
• Sobrecarga de hardware: os servos dos dedos superaquecem durante a manipulação prolongada, uma restrição mecânica que nenhuma qualidade de modelo consegue disfarçar.
• Custo de computação: manter um modelo de fronteira no loop é caro, o que importa para quem imagina isso rodando em uma casa em vez de em um laboratório.

Nenhum desses pontos é trivial. Latência e superaquecimento são o tipo de problema que aparece depois que os vídeos de demonstração terminam, quando um sistema precisa rodar por horas em vez de minutos. O custo de computação determina se uma abordagem como o HomeBody algum dia sai do ambiente de pesquisa.

Questões de segurança e o histórico de benchmarks

O HomeBody chega em um cenário misto. Benchmarks anteriores mostraram que o raciocínio espacial do Astra havia melhorado substancialmente — um pré-requisito para um modelo que precisa raciocinar sobre onde as coisas estão e como alcançá-las. Ao mesmo tempo, trabalhos separados sinalizaram problemas de segurança quando o Astra recebe o controle de um robô. Essas duas descobertas ficam desconfortavelmente juntas: a mesma capacidade que torna o modelo útil para manipulação também aumenta as apostas quando seu julgamento está errado.

Um modelo de linguagem emitindo comandos diretos para uma biblioteca de habilidades comprime a distância entre uma decisão ruim e uma consequência física. A ausência de uma camada de controle treinada remove um filtro que antes poderia ter restringido ações implausíveis ou inseguras. Isso não torna a abordagem inviável, mas significa que a avaliação de segurança precisa caminhar junto com a avaliação de capacidade, em vez de ficar para trás.

O avanço mais amplo rumo à IA incorporada

O HomeBody surge no meio de uma mudança mais ampla. A OpenAI já anunciou planos de voltar à robótica, incluindo máquinas destinadas ao uso pessoal. Essa ambição dá a demonstrações como esta um contexto comercial além do acadêmico: se um modelo de propósito geral consegue operar um humanoide em uma sala desconhecida, o argumento para construir hardware em torno de um único modelo poderoso se torna muito mais forte.

O trabalho de Stanford e do Caltech é melhor lido como um teste dessa premissa. Ele não afirma resolver a robótica doméstica. Mostra que a camada que a maioria dos pesquisadores assumia ser necessária — um controlador treinado fazendo a ponte entre linguagem e movimento — pode, ao menos nesta configuração, ser substituída por chamadas diretas a uma biblioteca de habilidades reutilizáveis.

O código é público, e as perguntas estão em aberto

O código do HomeBody está disponível no GitHub, o que significa que outros grupos podem testar a mesma arquitetura em robôs diferentes e salas diferentes. As perguntas interessantes agora são empíricas. Quanto o desempenho se degrada quando a cozinha está mais bagunçada, os objetos são desconhecidos ou a tarefa se estende por horas? Quanto do sucesso vem da biblioteca de habilidades e quanto vem do raciocínio do próprio modelo? E o que acontece quando latência, calor e orçamentos de computação são tratados como restrições de primeira ordem, e não como notas de rodapé?

Por ora, a demonstração se firma como mais um dado de que o GPT-6 Astra funciona bem com robôs — e como um lembrete de que a distância entre uma demonstração de cozinha convincente e uma máquina doméstica confiável ainda é medida em servos, segundos e dólares.

Este artigo é baseado em reportagem do The Decoder. Leia o artigo original.