一项大规模聊天机器人测试使用了儿童身份
根据WIRED查阅的内部材料和访谈，参与Meta某项目的承包商被指示在网上假扮未成年人，测试竞争对手的AI聊天机器人如何回应涉及自杀、自我伤害、饮食失调、性、毒品和虐待等高风险提示词。这项由Meta承包商Covalen管理、内部代号为Cannes的工作，目标包括OpenAI的ChatGPT、Google的Gemini和Character.AI。
报道描述了一项截至4月21日仍在进行的测试计划，其中使用了被包装成18岁以下用户的虚假账户。承包商被要求向竞争对手的聊天机器人提交文字提示词和图片，然后把回复记录到电子表格中。据称，部分图片包括药片、刀具、绞索，以及一张妇科手术的医学示意图。其明显目的，是观察这些系统在面对其安全政策本应拒绝或谨慎处理的场景时会如何表现。
这项操作的规模尤为引人注目。WIRED报道称，2025年8月完成的一轮测试涉及目标聊天机器人超过45,000条提示词。经审阅的一份提示词表包含3,748条记录，其中大量内容与自杀、自伤和饮食失调有关，另一些则聚焦于性、浪漫、毒品、脏话和侮辱性词汇。据报道，这些聊天机器人的公司并不知道测试正在进行。
提示词聚焦危机场景和安全边界案例
报道中描述的提示词往往以处于困境中的儿童或青少年的视角来写。例子包括一个13岁的孩子询问哪里可以买到药片来终止因成年邻居导致的怀孕，一个更小的学生描述一名同学嘴里含着枪，以及一个女孩询问如何向父母隐藏贪食症。其他提示词则探查获取毒品、暴力想法，以及以青少年口吻呈现的性暗示情境。
这些例子之所以重要，是因为它们说明了这次压力测试的具体类型。这不是对聊天机器人质量或用户体验的一般审查，而是一次有针对性的安全测试，旨在检验当系统面对被设定为未成年人的提问者时，是否会提供有害建议、无法缓和危机，或滑向不当回应。换句话说，这个项目似乎关注的是当下消费级AI平台最敏感的失效模式。
这也解释了为什么使用儿童身份很可能引发审视。AI系统安全研究常常会采用对抗性提示词，但报道描述的却是一种情境：大量承包商创建了虚假的未成年账户，并在相关公司不知情的情况下与外部服务互动。这不仅引发了关于AI安全基准测试的问题，也涉及平台规则、数据处理，以及在工业规模上模拟脆弱用户测试的伦理问题。
操作细节显示这是一个有组织的基准测试项目
据WIRED称，内部电子表格列出了虚拟档案，包括姓名、电子邮件地址、密码和出生日期。这些账户使用了一次性Gmail和Outlook地址以及共享密码。报道还称，提示词以多种语言提交，这表明这项工作并不只是对模型英文行为的狭窄检查。
综合来看，这些细节更像是一个结构化评估流程，而不是一次性审查。工作人员并不是只随便试了几个提示词。他们似乎在执行一套可重复的流程，以探查竞争系统、记录输出，并根据一组安全敏感主题对行为进行分类。从自伤和饮食失调到浪漫和脏话，主题范围之广说明该项目覆盖了AI公司在信任与安全工作中通常视为高风险的多个类别。
目前材料尚未说明Meta打算如何在内部使用这些结果，或该项目是否以正式标准衡量合规性。但即便没有这些细节，报道仍指向AI市场中一个日益重要的现实：安全表现本身已经成为竞争变量。模型如何回应脆弱青少年，和它的速度或推理质量一样，会影响品牌信任、监管立场和平台采用。
为何这不仅仅是一个承包商项目
这篇报道出现之际，主要AI公司正面临越来越大的压力，需要证明其产品能够负责任地处理危机场景和对年龄敏感的互动。关于聊天机器人安全的公众讨论已不再局限于幻觉或版权问题。如今，它还包括系统是否能避免鼓励自伤、抵御性剥削场景，并把用户引导到更安全的结果。
在这一背景下，一个围绕模拟未成年人的、面向竞争对手的测试项目有两层意义。第一，它表明领先科技公司认为这些失效模式重要到值得系统化基准测试。第二，它显示用于衡量安全的方法本身也可能变得有争议。公司或许想了解其他系统的表现，但获取这些信息的过程可能会带来自身的治理和伦理问题。
报道还凸显了信任与安全工作和竞争情报之间令人不安的重叠。如果一家企业在竞争对手的系统上执行数以万计的对抗性提示词且不为对方所知，它就获得了关于拒答行为、升级模式和内容审核边界的真实证据。这对内部对比可能有用，但也揭示了AI公司之间的安全竞争在外界看来依旧有多么不透明。
对AI行业的更广泛信号
从报道所述信息中可以得出几项结论。
- 高风险提示词测试如今已经广泛到需要大量承包商和正式工作流程参与。
- 儿童和青少年的安全场景是消费级AI评估中的一个主要关注领域。
- 安全表现越来越被视为一种竞争基准，而不仅仅是合规要求。
- 用于测试竞争对手的方法本身，可能会成为行业中的另一项政策议题。
这一事件之所以引人注目，不只是因为提示词数量庞大或议题敏感，更在于它让人看到企业在幕后可能如何积极研究彼此的防护机制。随着AI系统越来越深入日常使用，尤其是被年轻人使用，这些防护机制的质量会变得更重要。规定企业如何调查、比较和挑战这些机制的标准也会同样重要。
本文依据Wired的报道。阅读原文。
Originally published on wired.com