当店内警报变成公开指控
英国一批新近报道的案例，让关于日常商业中人脸识别的争论变得更加尖锐。根据《卫报》的报道，一些购物者在商店里被拦下，被要求离开，并被告知一套实时人脸识别系统将他们识别为涉嫌商店盗窃的人。涉事者表示自己是无辜的，但随后很难找到切实可行的途径来挑战这一指控或洗清名声。
这篇文章聚焦于 Facewatch，这是一套正在英国零售业推广、用于帮助打击盗窃的系统。其网站声称准确率达到 99.98%，并表示在最近一个月内向参与商店发送了 50,288 次已知违规则警报。但这些被报道的经历表明，即便一个被宣传为高度准确的系统，一旦错误落到店面现场，也会造成社会伤害。准确率百分比并不能抹去被误判者被要求放下手中物品并离开的后果。
治理缺口正成为故事的核心
这里最重要的问题也许并不是人脸识别本身的使用，而是部署周围薄弱的问责机制。报道中提到的购物者之一 Ian Clayton 说，他在逛 Home Bargains 商店时被告知自己出现在系统里，被当作商店盗窃者。经过一番追问后，他最终提交了主体访问请求，并得知自己被错误地与此前一起事件关联。他形容这一经历就像“先被推定有罪，再去证明自己无罪”。
这句话抓住了更深层的问题。在许多关于 AI 的公共讨论中，重点往往落在模型准确率、供应商说法以及技术原则上是否可行。但对那些被误报击中的人来说，迫切的问题是程序性的。是谁做出的决定？是系统错误还是员工错误？有哪些证据？错误多快能被更正？谁要为造成的伤害负责？
至少在这些案例中，报道中的答案并不令人安心。一些人说他们几乎没有得到帮助，也不知道该如何投诉或证明自己无辜。这表明，监督和顾客申诉机制并没有跟上部署的速度。
为什么零售 AI 会带来另一类风险
零售场景中的人脸识别不同于许多其他 AI 应用，因为它发生在实体空间中，并可能立即引发后果。一个生成错误答案的聊天机器人可以稍后纠正；而一家商店里错误识别顾客的系统，可能会在员工、其他顾客，甚至可能在家人面前，实时造成公开尴尬。
此外，还存在权力不对称。零售商可以选择自己的安全工具和操作流程。走进商店的顾客往往并不清楚正在使用哪些系统、观察名单如何编制，或者如果自己被匹配到会发生什么。张贴海报或二维码并不能解决根本上的失衡。如果一个人先被赶出去、之后才被告知，那么纠正责任就落到了被指认者身上。
这对更广泛的 AI 争论意味着什么
这些案例出现在 AI 监督仍在追赶商业部署的时点。实时人脸识别也许被包装成一种防犯罪工具，但公众会越来越多地根据它是否为普通人提供基本保障来评判它。这包括对警报如何生成的透明度、清晰的人工复核流程，以及可行的申诉路径。
这些报道中的事件也表明，核心风险不只是算法是否误判。人的使用同样重要。员工解读、升级处置政策以及投诉处理，都可能把一个技术错误变成制度性失败。如果没有有效机制去识别并修正例外情况，再高的宣传准确率也可能与严重伤害并存。
对零售商而言，教训很明确。如果要在人际接触的环境中使用人脸识别，治理就不能是事后补充。对监管者和公民自由倡导者而言，问题在于现有监督是否足以应对那些能在公共场合瞬间把人标记为可疑的系统。
英国这些案例表明，答案仍未明朗。可以确定的是，当自动化怀疑的承受者没有快速、可见且公平的方式来提出挑战时，这种怀疑就会变成严重得多的问题。
本文根据《卫报》的报道改写。阅读原文。
Originally published on theguardian.com