人工智能正在彻底改变游戏,体现在游戏中的物理和动画模拟,以及实时渲染和AI辅助功能。DLSS是Deep Learning Super Sampling英文的缩写,借助深度学习超级采样(DLSS),NVIDIA着手通过基于AI的超分辨率重新定义实时渲染,渲染更少的像素,然后使用AI构造清晰、高分辨率的图像。最终在RTX20系和30系显卡上,获得两倍的帧率和超高的分辨率。
0. 哪些显卡支持DLSS?
NVIDIA GeForce RTX 20系列及现在的RTX 30系显卡,都是基于图灵微架构,具有实时光线追踪功能,同时加入张量核心(Tensor Core),进一步加速了光线追踪。张量核心原是为深度学习而设计的,而借助深度学习的DLSS技术,如今已经发展到2.1版本,在rtx3090显卡的加持下,实现了8K高性能游戏体验,强力支持VR行业。
目前9月份销售的rtx3070显卡,售价3.8K左右,性能却比RTX2070高一倍之多,,GeForce RTX 30系列GPU具有第二代射线追踪内核和第三代Tensor内核,使DLSS的运行速度更快,是非常不错的入手选择。
1. 哪些游戏支持DLSS?
目前支持的游戏共计25个。如下图
在2k分辨率144hz显示器上,如果游戏低于60hz帧率,我们会感觉到明显的卡顿与不适,不论是PC大型单机游戏,还是手游模拟器里的游戏,体验都是如此。一些不支持DLSS的游戏,只能通过低阴影等部分降低画质的手段去实现较高帧率,而支持DLSS的游戏,基本上在RTX2070系显卡上能够稳定获得2K60Hz以上的帧率,如果你需要一张显卡,那可以考虑当下的RTX3070。
2. DLSS深度学习超级采样究竟是如何实现的?
DLSS2.0在AI神经网络中有两个主要的输入:
– 1. 游戏引擎渲染的低分辨率锯齿图像
– 2. 来自同一图像的低分辨率运动矢量(也由游戏引擎生成)
一种特殊的AI网络,称为卷积自动编码器,采用低分辨率的当前帧和高分辨率前一帧,以逐像素为基础确定如何生成更高质量的当前帧。
在训练过程中,将输出图像与脱机渲染的超高质量16K参考图像进行比较,并将差异传递回网络,以便其可以继续学习并改善其结果。在超级计算机上,此过程重复进行了数万次,直到神经网络可靠地输出高质量、高分辨率的图像为止。
最终将训练好的模型,应用于RTX系列显卡。
简而言之,就是拿着1K分辨率的图像,参照16K的图像进行深度学习训练,最终将这个AI模型用于实际的游戏体验中。类似的就是我们熟悉的画质无损放大AI,我们相信未来会有更多的游戏支持DLSS。
3. 总结
人工智能发展至今,离不了张量核心(Tensor Core)的发展,虽然我们在本地计算机上进行原型设计,在超级计算机上进行实际训练,但是绝大多数的实验都是在个人设备上进行的,因此张量核心的发展,给深度学习带来了一些本质的变化,那就是加速训练过程,用更短的时间获得输出结果,这一点在RTX30系列显卡上将更加明显,按目前Nvidai的RTX30系和20系的对比来看,30系已经有更为明显的进步,这部分提升,平时带来的效果就是高分辨率和高帧率的游戏体验,对深度学习的开发人员而言,就是更短的训练周期。