英特尔将推出采用帧外推技术的 XeSS 来提高游戏 FPS

在悉尼举行的 2023 年 SIGGRAPH 亚洲展会上，英特尔将成为第三家为其 XeSS 框架（即 ExtraSS）首次推出帧生成技术的主要 PC 厂商。

英特尔 XeSS 将通过 ExtraSS 帧外推技术加入帧生成大军，与英伟达 DLSS 3 和 AMD FSR 3 竞争

英特尔的 XeSS 技术是一种与硬件无关的升级技术，这意味着它也能与英伟达和 AMD 的 GPU 配合使用。它通常与英伟达的 DLSS 升频技术相当，并领先于 AMD 的 FSR。与英伟达的 DLSS 一样，英特尔的 XeSS 利用人工智能加速器来提供比其他升频方法更好的图像质量，其结果不言而喻，这可以从迄今为止发布的几款 XeSS 作品中看出。XeSS 还是一项开源技术，这意味着它可以很容易地集成到游戏中，几乎所有采用 XeSS 的游戏都支持 FSR 和 DLSS 等其他缩放方法。

不过，英伟达的 DLSS 和 AMD 的 FSR 技术已进一步扩展，支持帧生成，这是一种使用插值技术插入帧的方法。这种方法可用于提高 FPS，同时保持良好的图像质量。英伟达的帧生成技术通过 DLSS 3.5 进行了更新，进一步提高了图像质量，而 AMD 刚刚发布了新的 FSR 3.03 更新，解决了帧节奏问题，同时提供了比以前更高的保真度。

这是英特尔 XeSS 迄今所欠缺的一个领域，但英特尔似乎已经有了自己的解决方案，作为 XeSS 的扩展，即 ExtraSS。在 "ExtraSS：联合空间超级采样和帧外推法框架" 演讲中，英特尔图形研究副总裁 Anton Kaplanyan 和其他多位作者提出了帧外推法用于帧生成的想法。演讲内容如下：

我们介绍了 ExtraSS，这是一种结合了空间超级采样和帧外推法的新型框架，可提高实时渲染性能。通过整合这些技术，我们的方法实现了性能和质量之间的平衡，生成了时间稳定、高质量、高分辨率的结果。

利用轻量级翘曲模块和用于细化的 ExtraSSNet，我们可以利用时空信息，提高渲染清晰度，准确处理移动阴影，并生成时间稳定的结果。与传统的渲染方法相比，计算成本大大降低，从而实现了更高的帧速率和无别名的高分辨率结果。

使用虚幻引擎进行的评估表明，与传统的单个空间或时间超级采样方法相比，我们的框架具有更高的渲染速度和视觉质量。我们的框架能够生成时间稳定的高质量结果，为实时渲染应用创造了新的可能性，推动了各个领域的性能和照片逼真度渲染的发展。

via SIGGRAPH ASIA 2023

英特尔 XeSS "ExtraSS" 的有趣之处在于所使用的帧生成技术是 "帧外推法"，而不是 "帧插值法"。我们知道，英伟达的 DLSS 3 和 AMD FSR 3 都使用 "帧插值" 技术在特定场景中生成和插入帧，从而提供更高的 FPS。插值和外推法的原理基本相同，但根据 BlurBusters 的说法，两者的主要区别在于生成帧的方式不同。

• 英伟达 DLSS 帧生成器 - 插值
• AMD FSR 帧生成器 - 插值
• Intel XeSS Frame-Gen - 插值？

插值法使用多个样本来生成要插入的帧的近似值，而外推法则使用输入样本边界以外的信息来生成帧的近似值。论文指出，外推法可能会产生不太可靠的结果，并增加更多的伪影，但我们在开始时也看到了插值法的类似问题，因此通过一些调整和优化，XeSS "ExtraSS "可能会找到一个中间点，在提供高质量的同时提高 FPS。

研究论文本身也强调了插值和外推之间的区别。它指出，虽然帧插值技术能产生更好的效果，但在生成帧时也会带来更高的延迟，这也是英伟达和 AMD 采用 Reflex 和 Anti-Lag 等延迟降低技术来提供流畅帧生成体验的原因。另一方面，外推法不会产生很高的延迟，但由于缺乏生成新帧的关键信息，因此会遇到困难。XeSS "ExtraSS" 旨在通过使用一种新的翘曲方法来解决这一问题，这种方法有助于产生比以前的帧生成方法更好的质量和更低的延迟。

帧外推法是另一种仅利用前几帧信息来提高帧速率的方法。Li 等人[2022] 提出了一种基于光流的方法，根据之前的光流预测流向，然后将当前帧翘曲到下一帧。ExtraNet [Guo 等人.2021] 利用闭塞运动矢量和神经网络处理不闭塞区域，并利用 G 缓冲区信息处理阴影变化。当场景变得复杂时，他们的方法就会失效，并在不可见区域产生伪影。此外，由于它们只生成新的帧，因此需要更高分辨率的输入。我们是第一个提出联合框架来同时解决空间超采样和帧外推问题，并保持高效和高质量的人。

插值与外推

帧插值和外推是时空超级采样的两种关键方法。通常帧内插会产生更好的效果，但在生成帧时也会带来延迟。需要注意的是，现有的一些方法（如 NVIDIA Reflex [NVIDIA2020 ]）可以通过使用更好的输入调度器来减少延迟，但它们无法避免帧插值带来的延迟，而且与插值和外推方法是正交的。

即使采用了这些技术，插值方法的延迟仍然较大。帧外推法的延迟较小，但由于缺乏输入帧的信息，很难处理不包括的区域。我们的方法提出了一种带有轻量级流模型的新翘曲方法来推断帧，其质量优于以前的帧生成方法，与基于插值的方法相比，延迟更短。

英特尔研究论文（ExtraSS：空间超级采样和帧外推联合框架）

您还可以注意到英特尔 XeSS "ExtraSS" 帧外推方法与 SSAA、TAA 等其他混叠技术以及 ExtraNet 和 IFRnet 等神经渲染框架之间的一些比较：

比较 #1：

比较 #2：

在一些渲染时间性能测试中，英特尔展示了一个运行 AMD Ryzen 9 5950X CPU 和 NVIDIA GeForce RTX 3090 GPU 的系统。RTX 3090 GPU 也运行相同的英特尔 XeSS 帧生成（外推）方法，这意味着除了 AMD 的 FSR 3 之外，这将是第二个支持所有厂商的帧生成技术，再次表明了英特尔开源友好的承诺。

英特尔也在研发游戏帧生成技术，这对 PC 游戏领域来说是个好消息。目前看来，这项技术距离问世还有一段时间，但我们可能会在 2024 年听到更多关于它的消息。正如我们在 XeSS 上看到的那样，与其他技术相比，该技术虽然推出较晚，但在质量和支持方面值得等待。因此，英特尔在推出自己的 XeSS "ExtraSS" 帧生成技术时，可能会给我们带来一些惊喜。我们拭目以待。