在 CES 2025 上，Digital Foundry 采访了应用深度学习研究副总裁 Bryan Catanzaro，了解英伟达 DLSS 4 的发布情况及其在超级分辨率、光线重构和帧生成方面的诸多改进。
Catanzaro 谈到了在超级分辨率和光线重构方面取代 CNN（卷积神经网络）的全新变换器模型。这些模型要聪明得多，可以在更大的数据集上进行训练，并因此做出更好的选择，从而改善英伟达 DLSS 历史上的缺陷（如闪烁或重影）。例如，新的超级分辨率模型的计算能力是之前模型的四倍。Catanzaro 并未透露渲染时间会增加多少，但他表示，英伟达认为这是在本月晚些时候推出的搭载 Blackwell 的 GeForce RTX 50 新显卡上进行游戏的最佳方式。
“帧生成” 技术也进行了全面改革，放弃了之前基于 Optical Flow 硬件加速器的模式，转而采用完全由人工智能驱动的解决方案。下面是英伟达这样做的原因：
当我们构建英伟达 DLSS 3 Frame Generation 时，我们绝对需要硬件加速来计算 Optical Flow。我们没有足够的张量核心，也没有足够好的光学流算法。我们还没有开发出一种能在张量核上运行的实时光学流算法，而且这种算法也不符合我们的计算预算。我们有光流加速器，英伟达多年来一直在开发它，作为我们视频编码器技术的演进，它也是我们用于自动驾驶汽车的汽车计算机视觉加速的一部分。
我们将其用于英伟达 DLSS 3 帧生成技术是合情合理的。但是，像 Optical Flow 这样的算法在硬件上实现的困难之处在于，很难对其进行改进。我们无法用更智能的神经网络来弥补硬件 Optical Flow 所产生的故障，直到我们决定将其替换为完全基于人工智能的解决方案，这就是我们在 DLSS 4 中为帧生成所做的工作。
新的 “帧生成” 模型对张量内核的要求更高，但它使用的 VRAM 更少，图像质量更高（Catanzaro 认为这一点至关重要，尤其是对于新 RTX 50 GPU 上的新 “多帧生成” 技术而言），而且效率更高，因为成本已在多个帧中摊销。
DF 的 Alex Battaglia 当时问新模式是否可以移植到 GeForce RTX 30 系列等旧硬件上，英伟达 DLSS 的负责人并没有关闭这扇门。
我认为这主要是一个优化和工程问题，然后才是最终的用户体验问题。我们将通过 50 系列推出帧世代技术，也就是最好的多帧世代技术，我们会看看未来能从旧硬件中挤出什么。
需要提醒的是，英伟达在 GeForce RTX 40 显卡上推出 “帧生成” 技术时，Catanzaro 本人曾解释说，该功能是当时新款 GPU 的独有功能，因为这些 GPU 的光流硬件加速器比 RTX 30 系列改进了很多。当时，他还表示理论上可以将其移植到旧版硬件上，不过可能不会有那么大的好处。
由于新机型取消了 Optical Flow 硬件加速器，似乎为实现这一目标打开了大门。不过，卡坦扎罗也表示，Tensor Core 的要求更高，显然，旧版 GPU 架构的 Tensor Core 性能更差。英伟达是否真的能做到这一点，我们拭目以待。
在采访的其他部分，Bryan Catanzaro 强调了将更新后的翻转计量与 CPU 解耦的重要性，以减少帧时间变化（从而改善帧节奏），与之前相比可减少五到十倍。最后但并非最不重要的一点是，他声称使用 Reflex 2（也是基于人工智能的）玩游戏感觉更加 “连贯”，他相信对延迟敏感的游戏玩家一定会喜欢它。
