人工智能 persona 正开始进入民调行业,成为一种低成本模拟焦点小组和调查的方式。但 Syracuse University 的一名研究人员表示,这项技术要想被信任为选民的替代样本,必须先通过一个基本考验:能否反映不断变化的公众意见。
Jennifer Stromer-Galley 是 Syracuse School of Information Studies 的教授,研究民调方法论。她警告说,AI persona 可能以一种真实人类不会有的方式保持一致。选民在10月给出的答案,可能不同于几个月后在环境变化时给出的答案。合成受访者能否代表这种变化,取决于它们如何构建和更新。
这一问题直指合成民调的核心。该方法可以利用现有民调数据和人口统计信息,创建数百或数千个基于大型语言模型的 persona,然后让这些 persona 参与人工调查或焦点小组。其吸引力显而易见:民调供应商可以扩大服务范围,无需承担招募真实受访者回答问题的后勤负担和成本。
合成民调试图实现什么
传统民调寻求特定时间点上的真实人类回答。合成民调则构建数字替身,用来代表潜在选民或其他群体。这些 persona 可以被提供与民调相关的人口统计信息,有时还会补充文件和其他材料,以使其立场更加具体。
原则上,供应商可以构建对议题和政策具有详细观点的 persona,然后让它们参与基于兴趣的调查或人工焦点小组。这类系统的输出可能有助于测试信息、探索情景或扩展研究产品。
Stromer-Galley 将这一领域描述为处于“合成 persona 时代”的开端。对民调公司而言,这意味着有望以相对较低的成本提供更多研究服务。但较低的运营成本并不能解决方法论问题:生成的答案是否足以代表公众意见。
一致性可能变成缺陷
大型语言模型通常依据用于构建 persona 的指令和信息运行。这可能使其回答保持稳定。对于某些应用而言,稳定的行为是可取的:它可以让测试更具可重复性,也让模拟参与者更容易被描述和分析。
然而,民调面对的是观点可能发生变化的人。受访者在10月初认为最重要的问题,可能不是他们三个月后指出的问题。个人处境的变化、新信息以及公共生活中的发展,都可能影响人们的回答方式。
因此,问题不仅在于AI系统可能在单次回答中出错,而在于它可能过于忠实地保留初始画像。如果现实环境已经发生变化,而 persona 仍持续复现最初的假设,它就可能错过民调旨在发现的变化。
当合成结果被解读为公众情绪变化的信号时,这一问题尤其重要。一组 persona 可以快速生成大量答案,但数量本身并不能证明这些答案捕捉到了公众态度演变的方式。
为什么这一差距很重要
公众意见民调历来重视可靠性、可预测性和一致性。合成方法让这一图景变得更加复杂,因为它引入了另一种不确定性来源:模型化受访者的设计。
在传统调查中,研究人员仍需对抽样、问题设计和分析作出选择。但回答来自正在经历当下的人。对于AI persona,指令、源数据和补充材料都成为受访者本身的一部分。系统对某位选民的假设,可能在问题提出之前就影响答案。
这使得更新和验证成为核心问题。如果一家民调公司根据人口统计数据和一组政策信号构建 persona,就需要一种方法来判断后续输出反映的是公共环境的真实变化,还是仅仅来自一个固定底层画像的变化。
现有材料并未证明合成民调毫无用处。它指出的是一个尚未解决的问题:这项技术能否解释观点变化。这是一个更具体但十分重要的挑战:模拟选民不应只依据今天能否给出看似合理的答案来评判,还应看它能否在影响真实答案的条件发生变化时作出可信回应。
这是方法论问题,而不只是AI问题
这场争论最终关乎证据。民调公司可能将AI persona视为一种机会,在无需承担触达受访者的成本和困难的情况下,打造更丰富的服务。该技术也能让研究人员快速测试大量情景。但这些效率并不能自动证明合成输出测量的是公众意见。
要赢得更广泛的信任,合成民调的创建者需要解决“描述详尽的 persona”和“真实存在的受访者”之间的差异。一个可靠重复指定立场的画像,可能在内部保持一致。但它仍可能无法代表一个优先事项、观点或处境已经发生变化的人。
随着供应商探索详细的政策 persona、人工焦点小组和基于兴趣的调查,这一区分可能变得更加重要。输出所影响的决策越重大,了解AI受访者究竟在模拟什么就越重要。
Stromer-Galley的警告为评估这一领域未来的主张提供了一个有用标准。评估合成民调时,不应只看速度、规模和表面上的真实感,还要看其处理时间变化的能力。如果公众意见发生变化,而AI persona没有随之变化,这项技术可能产生井然有序的结果,却错过了它本应代表的公众。
本文根据 Phys.org 的报道编写。 阅读原文。
Originally published on phys.org


