开放模型托管正与日益严重的深度伪造滥用问题发生碰撞
Hugging Face 已成为人工智能领域最重要的分发枢纽之一，尤其是在开源和开放权重模型方面。但 The Verge 引述的一份新报告指出，该平台也在充当一条低门槛渠道，用于生成未经同意的性化深度伪造内容，其中包括针对女性和儿童的内容。这一发现进一步加剧了更广泛的争论：模型仓库究竟应被视为中立基础设施，还是应被视为对可预见滥用负有责任的主动把关者。
根据欧洲非营利组织 AI Forensics 的报告，它在 Hugging Face 上测试的前九个图像编辑模型中，有七个会轻易响应旨在让女性“脱衣”的提示。该组织表示，它在不同模型上使用的是直接、简单的请求，而不是复杂的越狱技巧，但仍发现这些系统往往会生成所要求的输出。这一点很重要，因为它表明问题并不只限于技术娴熟的攻击者。如果一个简单提示就能奏效，那么滥用门槛就低到足以支持大规模常见误用。
该报告将这种行为与大型公司领先面向消费者的 AI 系统所常见的更强防护措施进行了对比。The Verge 指出，像 Google 的 Gemini 和 OpenAI 的 ChatGPT 这样的主流生成式 AI 产品，通常会阻止试图让真人脱衣或将其性化的提示。相比之下，受测的 Hugging Face 模型在这一领域似乎缺乏有效，或者根本没有平台级保护。
AI Forensics 的测试发现了什么
这份非营利组织的结果指向两个相关问题：模型行为和用户需求。在模型层面，受测的图像编辑系统据称会服从从女性图像中移除衣物的直接指令。在需求层面，AI Forensics 在 Hugging Face 上搭建了“蜜罐”图像编辑 Spaces，以观察用户会提交什么样的提示，同时刻意不让这些 Spaces 满足相关请求。
在为期七天的时间里，该组织表示，这些蜜罐收到了超过 1,000 条提示和图片。其中 73% 带有性内容。在这些性相关请求中，83% 试图让图像中的某个人脱衣，且其中 95% 的目标是女性。根据 The Verge 转述的报告，近 7% 的性相关请求针对的是儿童。
这些数字并不能证明整个平台注册上的滥用总规模。不过，它们确实为在具备此类能力的工具被轻易获取时，用户意图提供了一个清晰信号。这个模式尤其重要，因为它表明滥用并非边缘案例。进入蜜罐 Spaces 的请求高度集中在一个狭窄且有害的用途上：在未经同意的情况下，把普通照片变成性化深度伪造内容。
这是平台问题，而不只是模型问题
报告中最有分量的说法并不只是某些开放模型可能被滥用。对此，人们早已心知肚明。更尖锐的批评是，正如 The Verge 引述的那样，“平台层面根本没有实施任何防护措施”。在实践中，这将关注点从单个模型开发者转向了帮助用户发现、运行和分享模型的托管层。
Hugging Face 在 AI 生态中的位置很特殊，因为它既是仓库，也是执行环境。模型可以被上传、进行基准测试，并在很多情况下通过名为 Spaces 的基于浏览器演示直接试用。这种组合降低了合法研究和开发的门槛，但如果审核和访问控制跟不上，也同样会降低滥用门槛。
因此，这份报告提出了一个可能远超单一公司的政策问题：当滥用模式显而易见、可重复且具有社会危害性时，基础设施提供方应承担什么义务？对于性化深度伪造而言，这个问题尤为紧迫，因为伤害可能是即时的，而且很难逆转。一旦被生成并传播，此类内容可能损害声誉，使受害者遭受骚扰；若涉及未成年人，还会触发严重的法律和道德后果。
这些发现也显示，开放模型之争正在变化。早先的争论集中在发布强大模型是否会比增加风险更能推动创新。如今，关注点往往更偏向运营层面：即便开放仍有价值，过滤、下架、使用限制和滥用检测应该放在哪里？如果模型权重仍然广泛可得，平台界面可能就会成为执行安全预期的主要环节。
为什么这件事发生在现在
时间点值得注意，因为多个司法辖区的监管机构和立法者正从抽象的 AI 安全讨论转向更具体的伤害，例如冒充、诈骗和私密影像滥用。The Verge 将这一问题与更广泛的深度伪造打击行动联系起来，也提到了近期外界对图像系统生成涉及儿童的性化内容的关注。这样的背景意味着，托管图像编辑工具的仓库不太可能继续置身于政策焦点之外。
对 AI 行业而言，这一事件再次提醒人们，信任不仅由能力决定，也同样由默认设置塑造。一个系统不需要前沿级智能也能造成严重伤害，只要它容易访问，并且被调校到能进行逼真的图像操控。从这个意义上说，AI Forensics 描述的滥用路径，与其说是关于未来的推测性风险，不如说是关于当下产品设计选择的问题。
对开源社区而言，这也存在声誉层面的影响。许多支持者有充分理由主张，开放访问有助于透明度、独立审计和更广泛地参与 AI 开发。但当高可见度的滥用案例似乎在开放平台上比在更严格控制的商业系统中更容易执行时，这些论点就会被削弱。开放 AI 治理的可信度，可能越来越取决于证明开放性与可执行的安全防护可以并存。
接下来关注什么
- Hugging Face 是否会针对这份报告调整模型托管或 Space 层面的审核。
- 非营利组织、记者或监管机构是否会用相同的简单提示方法复现这些发现。
- 平台是否会开始区分“托管模型文件”和“允许通过浏览器让用户访问有风险的图像编辑工具”。
- 政策制定者是否会将性化深度伪造生成视为平台治理问题，而不仅仅是用户滥用问题。
最直接的结论很明确。The Verge 所描述的这份报告表明，网络上一些最显眼的开放 AI 基础设施，只需极少努力就可能被用于制造未经同意的性化深度伪造内容。如果这些发现经得起更广泛的审视，那么“仓库只是被动托管方”的说法将更难成立。
本文基于 The Verge 的报道。阅读原文。
Originally published on theverge.com