01NVIDIA DLSS 3.5原理浅析
产品：GeForce RTX 4060 VENTUS 2X BLACK 8G OC 微星 显卡在刚刚开幕的德国科隆游戏展2023（Gamescom 2023）上公布了众多游戏宣传片，还有实机画面。不过我们今天说说NVIDIA同步更新的DLSS 3.5这项技术。
1 RTX 20系可开启DLSS 3.5 ？
由于大部分的宣传中都提到，DLSS 3.5不仅支持RTX 40系显卡，所有RTX显卡都可以开启。
所以玩家自动认为RTX 20系也可以开启它的上一个版本“DLSS 3.0”了，并不是。
本次DLSS 3.5并不是DLSS 3.0的直接版本迭代升级，而是在DLSS 3.0的基础上增加了RR（Ray Reconstruction）功能。
简单来说，RTX 4060可以享受到目前技术中的【SR+FG+RR】；RTX 2060可以享受到【SR+RR】，但因为加入了RR的DLSS统称为3.5版本，所以才有以上的误会。
2 光线追踪是如何工作的
误会解除，下面来看看DLSS 3.5的RR到底是什么。
首先在游戏场景中，不管是汽车、房子、树木之类的物体，都是具有实体的几何图形和材质，DLSS可以通过超分辨率根据模型来重建物体。但目前的游戏中，光影效果正在扮演越来越重要的角色。而游戏场景中的所有物体，在光线照射到自身时，都可以根据材质有不同反应，比如镜子有直接的反射，粗糙的表面会有漫反射等等。
但光本身不具备实体，如果对屏幕上的每个像素发射光线对计算的要求过高，所以通常的做法是使用光线采样。将光线以噪点的图像输出，来确定光追场景的具体展现方式。
最终反映到画面中，降噪器有两种不同的处理方法还原光追画面。
1.多帧累计：当前帧和上一帧之中，保留好的像素，丢掉坏的像素，最终合成计算出光线效果
2.空间插值：查找当前帧中的相邻像素并混合，最终形成一张通过插值采样得来的效果
而不同类型的光追效果其实要用到多种降噪器处理，才能算出相对满意的画面，不但增加了开发成本和复杂程度，而且多个降噪器同时工作，也极大降低了光追游戏中的帧数。
另外降噪器采用的多帧累计虽然增加了细节，但实际上是借取过去的光线，仍存在引入鬼影、消除动态效果并降低其他效果的风险。
图像放大是光线追踪照明管线的最后一个阶段，也是以高帧率体验、细节丰富的关键。但随着降噪消除或降低效果质量，图像放大器所使用的精细细节（称为高频信息）被去除，这就造成了我们在游戏时会看到很多鬼影、模糊、细节丢失的问题。
3 DLSS 3.5的“RR”是什么
DLSS 3.5引入的Ray Reconstruction（光线重建）则是专为“光线”开发的一套AI模型，它将需要人工设计的降噪器，替换为NVIDIA超算训练的AI网络（在采样光线之间生成更高质量的像素），利用所有可用信息来解决上述问题，并为所有RTX GPU提升光线追踪图像质量。
DLSS 3.5 训练的数据量是DLSS 3的5倍，可识别不同的光线追踪效果，从而使用时间和空间数据，做出更明智的决策，并保留高频信息以实现更高质量的升级。
光线重建使用离线渲染图像进行训练，这需要比实时游戏所需的更多的计算能力。相比传统的降噪器，光线重建可以从训练数据中识别光照模式，例如全局光照或环境光遮蔽的光照模式，并在玩游戏时在游戏中重新创建这些模式。其最终效果比需要人工设计的降噪器更出色。
在《传送门》RTX版中，关闭DLSS的情况下，降噪器难以处理空间插值，无法混合足够的像素，从而产生斑点效果。
此外，降噪器无法从之前的帧中累积足够的优质像素，导致光线上出现沸腾效果。开启DLSS 3.5后，它可以识别与反射相关的特定模式，并保持图像稳定，同时混合相邻像素以生成高质量的反射。
在《赛博朋克2077》的以下场景中，汽车周围不准确的车头灯照明是由于人工设计的降噪器引入了前一帧中不准确的光照效果造成的。DLSS 3.5 准确地生成光照，因此可以识别出车灯的光束，并看到光线在车前路边反射。
《赛博朋克 2077》中的夜之城街道充满了旋转广告牌和霓虹灯的反射。通过开启 DLSS 3.5，整个城市的画面质量和清晰度得到了大幅提升：
可以看到在开启DLSS 3.5后，不仅帧数再一次小幅提高，并且能正确模拟出光线的传导，并进一步影响周围材质的颜色变化。
4 总结
最后总结一下，其实DLSS 3.5增加了一个专门针对光线追踪而开发的——光线重建AI模型，它并不依靠RTX 40系显卡中的硬件单元，所以在所有RTX显卡中均可开启。
而DLSS 3.0的帧生成，则是依赖第四代Tensor Cores中最新引入的光流加速器（New Optical Flow Accelerator），光流加速器在原本DLSS 2的基础上，还可以计算两个连续帧内的光流场，能够捕捉游戏画面从第1帧到第2帧的方向和速度，从中捕捉粒子、反射和光照等像素信息。并分别计算运动矢量和光流来获得精准的阴影重建效果。
所以，这也是为何DLSS 3中的帧生成为RTX 40系显卡独享。
虽然RTX 20/30系显卡同样能够开启DLSS 3.5中的RR，但它的作用更多是“锦上添花”的效果，帧数提升有限。况且，即便RTX 4060相比RTX 3060的提升只有20%左右，但别忘了RTX 40系显卡尤其加强的Tensor算力和L2缓存，在处理光追和DLSS时，都有着得天独厚的优势。
我们常说NVIDIA近几年发力点一直在AI计算上，游戏卡似乎有些忽略。
但在RTX 40系显卡中加强的AI性能，其实大部分用户感知不大，而DLSS则相当于一个针对AI，长期优化的专属软件。我认为无论是对于游戏玩家还是内容创作者，都是值得投资的。
