General Intuition 重注带有动作标签的视频数据

General Intuition 已完成 3.2 亿美元 A 轮融资,公司表示,这轮融资将帮助其构建能够在虚拟和物理环境中感知、预测并采取行动的 AI 系统。此次融资对这家总部位于纽约的公司估值达到 23 亿美元,并使其总融资额升至 4.54 亿美元,此前公司在 10 月融资 1.34 亿美元。

这一头条数字本身就很引人注目,但更有意思的是支撑这笔融资的公司数据策略。General Intuition 表示,其训练模型主要不是依赖书面文本、传统机器人数据集或合成仿真输出,而是依赖上传到游戏平台 Medal 的数十亿条游戏片段。Medal 由首席执行官 Pim de Witte 共同创立。

这些片段展示的不只是屏幕上发生了什么。根据公司的说法,其中嵌入了动作标签,记录玩家何时按下了哪个按钮。这意味着数据集把视觉上下文与特定的人类动作按时间关联起来。对于一家试图训练系统去理解环境并决定下一步该做什么的公司来说,这种配对至关重要。

为何这套数据集格外突出

当下人工智能行业的大部分工作仍然围绕语言展开。大型基础模型建立在海量书面文本语料之上,许多系统也将这一方法延伸到图像、音频或代码。General Intuition 认为,这种范式不足以支撑其所谓的物理 AI。

该公司明确表示,单靠文本描述无法为需要与世界互动的机器提供那种有现实锚定、面向行动的学习。在其表述中,智能不仅是描述现实,还包括感知情境、决定行动并经历后果。游戏画面,尤其是与动作元数据结合时,能够在许多场景中反复呈现这一循环。

这一论点之所以重要,是因为它指出了机器人技术和具身 AI 中长期存在的缺口。真实世界的机器人训练数据收集成本高、速度慢。高质量仿真虽然能提供帮助,但构建具备足够多样性的合成环境本身就是一项重大工程。General Intuition 试图通过利用一个已经记录了人类在不断变化目标下穿行复杂环境的数据集,绕过这一瓶颈。

原始材料并未宣称游戏画面可直接替代现实世界的机器人数据,而这一点很重要。虚拟动作轨迹并不能自动解决物理系统中的接触动力学、传感器噪声或部署可靠性问题。但该公司的核心观点是,这些数据可以为感知、预测和决策提供大规模先验,尤其是在预训练阶段。

从文字走向世界

General Intuition 对其技术的表述相当明确。公司表示,真正智能的机器必须从“words to worlds”转变,获得其所谓对现实的通用直觉。实际操作中,这意味着开发的模型不能只是标注场景或回答提示,而是要预判行动发生后环境会如何变化。

为支撑这一目标,公司称自 2015 年成立以来一直在开发两大类模型。第一类是动作模型,用于决定采取什么行动。第二类是世界模型,用于预测这些行动会带来什么结果。这个区分呼应了前沿 AI 研究中一个日益明显的分化,即选择行为的系统与模拟后果的系统正在分道发展。

公司还表示,正在将世界模型测试为智能体模型的训练环境。如果这一方法奏效,就可能形成一个反馈循环:学到的环境模型帮助生成决策系统的训练机会,从而减少对昂贵现实世界数据采集的依赖。原文并未提供基准测试或外部验证,但这一概念与更广泛的行业努力一致,即让具身 AI 更加高效地利用样本。

投资者正积极押注这一路线

这笔融资本身表明,投资者认为这家公司的设想并不只是一个小众实验。General Catalyst 领投,Jeff Bezos 和前 Google 首席执行官 Eric Schmidt 参与投资。融资规模显示,资本市场仍愿意为雄心勃勃的具身 AI 押注提供资金,尤其是在这些押注同时具备差异化数据来源和广泛平台叙事的情况下。

General Intuition 表示,将用这笔新资金扩大算力,并预训练下一代模型。这些都是成本高昂的步骤,但符合当前前沿 AI 开发的经济逻辑。独特数据或许能带来最初的优势,但要把这种优势转化为有用的模型,仍然需要大量基础设施、工程和迭代。

公司还计划在今年夏天更广泛地开放其 API,依据原文所述。这一点很重要,因为它说明 General Intuition 并不把自己局限于研究叙事,而是在尝试成为其他人可以构建其上的基础设施层,无论是用于机器人、仿真环境中的智能体,还是连接两者的系统。

这对机器人和具身 AI 意味着什么

这则公告更大的意义在于战略层面。机器人开发者长期面临一个难题:现实世界行为的复杂性,与可规模化训练数据的稀缺之间存在错配。General Intuition 的答案是用人类游戏过程作为桥梁:一座收集于机器人行业之外、但可能对其有用的庞大感知-行动样本档案。

如果这一方法有效,它可能会扩大具身 AI 公司可用的数据管道范围。开发者或许不再只是在昂贵的现实世界采集和完全合成环境之间二选一,而是越来越依赖混合方法,利用虚拟环境中自然发生的人类交互数据。

仍有一些关键问题未在所提供材料中得到回答,包括游戏衍生模型向物理机器人迁移的效果如何、哪些领域收益最大,以及如何与更传统的方法进行性能评估。但公司不必立即解决所有这些问题,就可能影响市场。3.2 亿美元的 A 轮融资本身就释放出一个信号:投资者相信,下一阶段的 AI 竞争可能不再主要取决于谁拥有最多文本,而是谁拥有最丰富的、以动作为基础的数据。

就目前而言,General Intuition 已经明确了三件事:它获得了一轮大额新融资,它正在用数十亿条带有嵌入式动作标签的游戏片段进行训练,而且它正在利用这些数据构建旨在在虚拟和物理环境中感知、预测并行动的模型。在一个不断寻找可规模化方式来训练更强大机器的行业里,这足以让该公司成为当下最受关注的具身 AI 参与者之一。

本文基于 The Robot Report 的报道。阅读原文

Originally published on therobotreport.com