大规模成绩数据指向 AI 驱动的非监督课程成绩膨胀

加州大学伯克利分校的一项新研究为高等教育领域日益加深的一项担忧提供了实证支持:生成式 AI 可能让成绩看起来更好,却并未真正提升学习效果。该研究基于得克萨斯州一所大型、选择性较强的公立研究型大学的 50 多万个成绩。结果发现,自 2022 年 11 月 ChatGPT 发布后,那些 AI 擅长处理的作业型课程成绩大幅上升,尤其是写作和编程类课程。

这种增长并未平均分布在所有课程类型中。根据 The Decoder 对该研究的描述,这种效应集中在家庭作业在最终成绩中占比很高的课程里。这一区分很重要。如果 AI 工具真的在帮助学生更好地学习,研究人员本应看到这种收益出现在各种评估方式中,包括监考考试。相反,最大的涨幅出现在非监督作业中,这种模式更符合 AI 取代了学生投入的努力。

变化幅度有多大

这项研究追踪了 2018 年至 2025 年间的 8 个秋季学期,涵盖 84 个院系中的 319 门课程。为估算每门课暴露于生成式 AI 的程度,研究者使用了 2022 年秋季的教学大纲。那是在 ChatGPT 诞生之前创建的,并据此衡量了以写作和编程为中心的作业占比。这些任务最可能在广泛可用的 AI 工具出现后受到影响。

ChatGPT 发布后的变化幅度相当大。在写作和编程作业占比较高的课程中,A 等成绩占比增加了 13 个百分点,约比 2022 年基线高出 30%。平均 GPA 上升了 0.12 分。与此同时,成绩分布变得更集中,原本可能拿到 A- 或 B+ 的学生,越来越多地直接拿到 A。

这一模式值得注意,因为它不仅意味着纸面上的平均表现更高,也意味着学生之间的区分度下降。实际来看,成绩可能正变得不那么能反映谁真正掌握了材料,谁只是完成了作业。

推动变化的似乎是作业,而不是考试

这项研究最重要的贡献,可能在于它尝试区分学习提升与外包式完成作业之间的差异。研究者考察了家庭作业在最终课程成绩中所占的比重。如果 AI 真的帮助学生更好地理解内容,那么无论课程更依赖作业还是课堂考试,成绩提升都应当出现。相反,如果学生是直接借助 AI 完成作业,那么最强烈的效应应当出现在那些非监督作业权重最高的课程中。

数据支持的正是第二种情形。在家庭作业占最终成绩比重高于中位数的课程里,A 等成绩的增幅比低作业占比课程再高出 16 个百分点,且这两类课程的 AI 暴露程度相同。在作业权重较低的课程中,这种效应很小,而且没有统计学意义。

这种模式很难仅仅用学生整体学习能力提升来解释。它更指向一种课程设计上的结构性脆弱点:当成绩高度依赖课后写作或编程任务时,AI 系统如今已经能够完成足够多的工作,从而改变成绩分布。

安慰剂检验增强了这一判断

研究还做了一个有用的对照。口头展示类作业由于当前 AI 工具不太能直接发挥作用,并未表现出同样的成绩膨胀效应。这个安慰剂检验本身并不能证明因果关系,但它强化了这样一种解释:作业形式很重要,而观察到的变化与生成式 AI 能够完成或显著辅助的任务类型密切相关。

Effect of AI per unit of exposure on the share of students earning at least an A through at least a C-minus. After ChatGPT
在所有课程中,ChatGPT 于 2022 年 11 月发布后,至少拿到 A 或 A- 的学生比例明显上升,而 B+ 到 C- 区间的比例几乎没有变化。| 图片:Chirikov

换句话说,这并不是 2022 年后整个校园普遍变得更容易打分。成绩上升与 ChatGPT 类系统最擅长处理的具体领域高度一致。

这为何不仅关乎一所大学

大学面对成绩膨胀的问题已经有数十年了。这个时刻的不同之处在于,生成式 AI 可能正在加速这一过程,并削弱评估的基本功能之一。成绩本应传达有关表现、知识和相对掌握程度的信息。如果 AI 让大量学生在未相应理解内容的情况下产出漂亮的作业,这些信号就会变弱。

其影响远不止成绩单。雇主、研究生院、奖学金评审委员会,甚至后续课程的教师,都会把成绩当作学生能力的粗略指标。如果 A 越来越反映的是 AI 辅助输出的质量,而不是实际能力的体现,那么这种信号的可信度就会被侵蚀。

这项研究也提出了一个教学上的挑战。写作和编程并不是现代大学里的边缘作业;它们是许多学科教授分析、问题解决与沟通能力的核心方式。这意味着,机构不能只是简单取消受影响的作业形式而不改变教育本身的实质。相反,它们可能需要重新设计作业、增加面对面或受监督的评估,或者更强调口头答辩、草稿、过程记录以及其他能让学习过程可见的方法。

研究没有声称什么

根据来源材料的概述,这项研究并没有声称所有学生都在滥用 AI,也没有说任何 AI 辅助都会自动削弱教育。它同样没有说所有学生的学习都没有改善。有些学生很可能正在把 AI 当作导师、编辑或调试辅助工具,从而支持了理解。

但从总体层面看,这里呈现的证据指向了不同方向。最强的成绩变化出现在 AI 最容易替代学生非监督作业的地方,而不是学生必须在受控条件下独立展示知识的地方。

给高等教育下一阶段的警示

生成式 AI 现在已经成为学术环境的一部分。问题不再是学生是否能接触到它,而是机构如何回应。这项研究表明,如果课程设计保持不变,成绩可能会继续上升,却变得不那么有意义。

这并不只是纪律问题,也是评估设计问题。希望成绩继续有价值的大学,可能需要尽快区分“辅助”和“替代”,并创造更多方式,让学生无需把核心智力任务外包出去也能证明自己会做什么。

这项研究更广泛的意义在于,它量化了许多教师自 2022 年底以来就已怀疑的变化。ChatGPT 时代可能不只是改变了学生的工作方式,也可能在改变学术成绩本身所衡量的内容。

本文基于 The Decoder 的报道。阅读原文

Originally published on the-decoder.com