研究者らがGPT-6 Astraをロボットに直接接続し、見知らぬキッチンを片付けさせる

ヒューマノイドがGPT-6 Astraを操縦役に、見知らぬキッチンを掃除する

スタンフォード大学とカリフォルニア工科大学の研究者らは、Unitree G1ヒューマノイドロボットが一度も見たことのないキッチンに入り、その空間を片付け、人が動きを操作することなく引き出しから物を取り出せるようにするHomeBodyというシステムを構築した。このロボットはGPT-6 Astraで動作しており、このデモンストレーションは、このモデルがテキストや画像から、物理的に世界を動き回る機械へと有用に応用できるという、拡大しつつある証拠の集積に加わるものだ。

際立っているのは、ロボットが物体をつかめることではない——工場のアームは何十年も前からそれをやってきた。そうではなく、この機械が、これまで遭遇したことのないレイアウトの部屋で何をすべきかを、その一つのキッチンのために特別に設計されたパイプラインではなく、汎用モデルを使って導き出したことである。

HomeBodyの構成

GPT-6 Astraがスキルライブラリを直接呼び出す

ほとんどのロボット学習スタックは、言語モデルとハードウェアの間に訓練済みの制御レイヤーを挿入する。そのレイヤー——多くの場合、タスク固有のデータで精緻化されたポリシーネットワークやモーションプランナー——は、高レベルの意図を関節レベルのコマンドに変換する。HomeBodyはそれを取り除く。交換可能な視覚言語モデル、この場合はGPT Astraが、把持、ナビゲーション、引き出しの開閉をカバーする拡張可能なスキルライブラリを直接呼び出す。ライブラリはモジュール式であるため、システム全体を再訓練することなく個々の能力を追加・交換でき、基盤となるVLM自体も別のモデルに差し替えられる。

まず探索し、その後で記憶する

何かを扱う前に、ロボットは部屋を見渡す。NvidiaのIsaac Sim内にキッチンのデジタルツインを構築し、その後、物体とその位置を空間メモリに記録する。このメモリがあるからこそ、機械は物体がロボットの視野から外れた後でもその位置を特定できる——人間にとっては日常的だが、カメラが現在捉えているものだけを推論するシステムにとっては真に困難である。

計画、実行、自己修正

「キッチンを片付けて」といった大まかな指示を与えられると、言語モデルは作業をステップに分解し、スキルライブラリを通じてそれらを実行し、何か問題が起きれば自己修正する。計画は固定されたスクリプトではない。ロボットが発見したことや、発生する失敗に適応する。これが自動化と、より汎用的な振る舞いに近いものとの違いである。

制御レイヤーを取り除くことが重要な理由

訓練済みの中間層を取り除くことは、システム全体の経済性と柔軟性をいくつかの点で変える。

• 汎化：推論が単一環境のために収集されたデータからではなくモデルから来るため、ロボットは単一のキッチンレイアウトや狭いタスクリストに縛られない。
• モジュール性：スキルは独立して拡張でき、より優れたものが現れれば視覚言語モデルを差し替えられる。
• 意図の解釈可能性：指示は特注のコントローラにコンパイルされるのではなく、通常の言語で与えられる。

トレードオフは、フロンティアモデルが今や制御ループの内側に座っていることであり、まさにそこがシステムの弱点が最も可視化される場所である。

システムが依然として苦戦する点

チームの説明は欠点について率直であり、それらは大規模モデルにリアルタイムで依存することのコストに集中している。

• レイテンシ：ロボットが変化する物理的シーンに反応しなければならないとき、GPT-6 Astraの応答時間が制約要因となる。
• ハードウェアの負担：長時間のマニピュレーション中に指のサーボが過熱する。これはモデルの品質では覆い隠せない機械的制約である。
• 計算コスト：フロンティアモデルをループ内に保つことは高コストであり、これを実験室ではなく家庭で動かすことを想像する誰にとっても重要である。

これらのいずれも些細なことではない。レイテンシと過熱は、デモ動画が終わった後に表面化する類の問題であり、システムが数分ではなく数時間動かなければならないときに現れる。計算コストは、HomeBodyのようなアプローチが研究環境を離れることがあるかどうかを決める。

安全性の疑問とベンチマークの記録

HomeBodyは混ざり合った背景の中で登場する。以前のベンチマークは、Astraの空間推論が大幅に改善したことを示していた——物がどこにあり、どうやって到達するかを推論しなければならないモデルにとっての前提条件である。同時に、別の研究は、Astraにロボットの制御を与えたときの安全性の問題を指摘した。これら二つの発見は居心地悪く並び立つ：モデルをマニピュレーションに有用にする同じ能力が、その判断が誤ったときのリスクも高めるのである。

言語モデルがスキルライブラリに直接コマンドを発行することは、悪い決定と物理的結果の間の距離を圧縮する。訓練済みの制御レイヤーが存在しないことは、以前ならば不合理または安全でない行動を制約していたかもしれないフィルターを取り除く。それはこのアプローチを実行不可能にするものではないが、安全性評価が能力評価に遅れを取るのではなく、それと並んで進まなければならないことを意味する。

身体性AIへのより広い動き

HomeBodyは、より広範な転換の真っただ中に位置する。OpenAIはすでにロボティクスへの回帰を計画していると発表しており、個人用を意図した機械も含まれる。その野心は、このようなデモンストレーションに学術を超えた商業的文脈を与える：汎用モデルが見知らぬ部屋でヒューマノイドを操作できるなら、単一の強力なモデルを中心にハードウェアを構築する論拠ははるかに強くなる。

スタンフォード大学とカリフォルニア工科大学の研究は、その前提のテストとして読むのが最も適切である。それは家庭用ロボティクスを解決すると主張するものではない。ほとんどの研究者が必要だと考えていたレイヤー——言語と動きをつなぐ訓練済みコントローラ——が、少なくともこの構成では、再利用可能なスキルのライブラリへの直接呼び出しに置き換えられることを示している。

コードは公開され、疑問は開かれたまま

HomeBodyのコードはGitHubで入手可能であり、他のグループが同じアーキテクチャを異なるロボットや異なる部屋で検証できることを意味する。興味深い疑問は今や実証的なものである。キッチンがより散らかっていたり、物体が見慣れないものであったり、タスクが数時間に及ぶとき、性能はどれだけ低下するのか？成功のどれだけがスキルライブラリから来ており、どれだけがモデル自身の推論から来ているのか？そして、レイテンシ、熱、計算予算が脚注ではなく第一級の制約として扱われるとき、何が起きるのか？

今のところ、このデモンストレーションはGPT-6 Astraがロボットとうまく機能するというもう一つのデータ点として立ち、そして説得力のあるキッチンデモと信頼できる家庭用機械との間の隔たりが、依然としてサーボ、秒、そしてドルで測られていることを思い起こさせる。

この記事はThe Decoderの報道に基づいています。元の記事を読む。