RealSR-ncnn-Vulkan：AI超分辨图像放大终于可以看得过去了

在图像超分辨领域，腾讯优图 AI 在去年开源了 RealSR，主要面向现实世界图像的超分辨放大，不同于其他纸上论文，该项目打包了跨终端的可执行文件，实现了类似 waifu2x 的零依赖命令行调用。未来或许会新增更多带 GUI 视图的面板，方便普通人使用。

0. 效果截图

1. 下载地址

开源地址： https://github.com/nihui/realsr-ncnn-vulkan
下载地址： https://github.com/nihui/realsr-ncnn-vulkan/releases

2. 使用教程

Usage: realsr-ncnn-vulkan -i infile -o outfile [options]...

  -h                   show this help
  -v                   verbose output
  -i input-path        input image path (jpg/png/webp) or directory
  -o output-path       output image path (jpg/png/webp) or directory
  -s scale             upscale ratio (4, default=4)
  -t tile-size         tile size (>=32/0=auto, default=0) can be 0,0,0 for multi-gpu
  -m model-path        realsr model path (default=models-DF2K_JPEG)
  -g gpu-id            gpu device to use (default=0) can be 0,1,2 for multi-gpu
  -j load:proc:save    thread count for load/proc/save (default=1:2:2) can be 1:2,2,2:2 for multi-gpu
  -x                   enable tta mode
  -f format            output image format (jpg/png/webp, default=ext/png)

对于普通图片，可以使用下面的命令：

realsr-ncnn-vulkan.exe -i origin.jpg -o output.png -s 4 -x -m models-DF2K

对于压缩后的 JPG 图像，使用下面的命令效果更佳：

realsr-ncnn-vulkan.exe -i origin.jpg -o output.png -s 4 -x -m models-DF2K_JPEG

该工具同时也支持目录文件夹批量处理，只需把入口和出口设置为相关目录即可。由于是依赖 GPU 运算，个人 RTX 2070 SUPER 显卡处理一张小图也需要几秒钟，运算时长主要与源文件分辨率和显卡运算能力有关系。

3. 小结

从现有的超分辨发展趋势而言，RealSR 确实比很多工具都优秀，至少可以看得过去。以前的 AI 主要处理异次元这类简单图像，如今 RealSR 可以处理现实世界的图片，随之也带来很明显的问题，就个人使用而言，如果原图比较清晰锐利，那么 AI 放大后更加清晰；如果原图噪点多比较模糊，那么 AI 放大仍然无法直视。想要处理视频文件，看来不能直接用 RealSR 一步到位了，必须前置处理，使得原图像经过降噪、锐化等处理清晰后，再去放大才可以。不过降噪方面，学术论文比较稀有，可用的开源工具貌似没有火热的。