AI 图形革命,复杂性凸显

Nvidia 在消费级 GPU 叙事中押下了重注——DLSS(深度学习超采样)是一套 AI 驱动的技术套件,使用神经网络从低分辨率输入重建高质量帧,在渲染的帧之间生成全新帧,并应用智能上采样来提升帧率,而不会相应增加 GPU 工作负载。通过 DLSS 5,该公司承诺了迄今为止最具戏剧性的飞跃:多帧生成、基于 Transformer 的超分辨率,以及一个新的神经渲染管道,有效地让 GPU 的 AI 核心做硅基光栅化之前无法做的工作。但来自 Digital Foundry 等机构的独立测试表明,该技术仍存在有意义的成长痛点。

核心矛盾是自 DLSS 诞生以来一直伴随着它的问题:AI 生成了原始渲染帧中不存在的信息,有时会生成错误的信息。在 DLSS 5 的多帧生成模式中,系统可以为 GPU 实际渲染的每一帧生成两个甚至三个 AI 生成的帧。理论性能倍增器是巨大的。在快速移动或视觉复杂的场景中,实际结果可能包括重影伪影、时间不稳定,以及批评人士所说的 AI 垃圾——看起来微妙地不对但又不是明显破损的视觉噪声。

DLSS 5 实际在做什么

要理解为什么会出现伪影,需要了解 DLSS 5 实际在计算什么。超分辨率组件以较低分辨率(比如 1080p)的本地渲染帧为输入,使用在数千个游戏场景上训练的卷积神经网络来重建 4K 输出。自 DLSS 1.0 以来,管道的这一部分已相当成熟,DLSS 4 基于 Transformer 的方法已经代表了相比早期卷积模型的重大质量改进。

帧生成是 DLSS 5 推进到风险较高领地的地方。内置于 Nvidia Ada 和 Blackwell GPU 的光流加速器分析相邻帧之间的运动向量,以推断对象在插值帧中的位置。这对平滑的摄像机平移和缓慢的物体运动效果很好。但对于快速移动的射弹、粒子效应、快速角色动画和任何运动预测本质上不确定的场景,它会遇到困难。

主观体验差距

独立测试人员最有趣的发现是,在 DLSS 5 最大设置下玩游戏的体验与观看相同游戏的录像有多大差异。在屏幕上,实时地,增加的帧率提供了许多玩家认为引人入胜的真正流畅度。但当评测者捕捉视频并以减速播放时,伪影变得明显:包含明显污迹的帧、幽灵化的 UI 元素,以及当神经网络重新计算它们时似乎轻微呼吸的纹理。

这提出了一个令人不适的问题:如果一项技术使游戏在实时中感觉更好但在仔细检查中看起来更差,这是否是净正收益?对于大多数玩家来说,帧率是游戏性能最直接的维度,DLSS 5 将显示帧率推向 300fps 以上(在高端硬件上)的能力是真正令人印象深刻的。但该技术本质上是用视觉精度换取时间流畅性。

竞争方法和开发者的怀疑

AMD 的 FSR 4 和 Intel 的 XeSS 2 正在追求大致相似的目标——AI 辅助的上采样和帧插值——但采用不同的架构方法和硬件要求。AMD 已将 FSR 开源并使其硬件无关,意味着它在任何 GPU 上运行,而 Nvidia 的 DLSS 只需要 Nvidia 硬件中的专用张量核心。

帧生成竞争也吸引了游戏开发者的怀疑。论证是帧生成在玩家输入和显示输出之间产生脱节,破坏了响应式游戏。当玩家转动鼠标时,他们看到的帧包括在该输入注册之前计算的 AI 生成内容,引入了微妙但真实的视觉延迟形式,这在传统延迟测量中不会显示。

前方之路

Nvidia 对伪影批评的回应是谨慎的。该公司承认帧生成并不适合所有游戏或所有场景,其驱动程序软件包括不同标题的配置文件,可根据内容类型调整帧生成的激进程度。未来的迭代预计将纳入更好的重影减少和改进的粒子系统复杂运动向量处理。

更深层的问题是 AI 生成的图形是否代表游戏渲染方式的根本转变,或只是一个具有固有限制的复杂插值技巧。Nvidia 最雄心勃勃的研究指向一个未来,其中神经渲染补充或替代传统光栅化和光线追踪——直接从场景描述生成像素,而无需常规渲染。DLSS 5 是沿着该路径的一步,但这是一步揭示了该技术在接缝变得不可见之前还需要走多远的一步。

本文基于 New Atlas 的报道。阅读原文