waifu2x:一款开源免费的图片无损放大神器

waifu2x是日本的一位大佬nagadomi开发的开源项目,目前累计贡献者有 31 人,该项目利用人工智能深度卷积神经网络技术来无损放大图片,内置了多种 RNN 模型,现已支持 web 端、linux 端,Windows 客户端等,支持本地显卡 CUDA 加速,实际体验非常令人满意。

0. 在线体验

在线体验地址: http://waifu2x.udp.jp
开源地址: https://github.com/nagadomi/waifu2x在线最大可放大2倍,可重复放大,本地客户端则无限制放大倍数。

1. Windows 本地客户端

Windows 客户端下载地址:https://github.com/lltcggie/waifu2x-caffe/releases

图形界面 GUI 支持英语,日语,简体中文,繁体中文,韩语,土耳其语,西班牙语,俄语和法语。内置了 7 种神经网络,其中适用于 2D 插图的有 UpRGB 模型、RGB 模型、Y 模型、UpResNet10 模型和 CUnet 模型。适用于照片或动画的有 UpPhoto 模型和 Photo 模型。

初次之外,还有 CUI 命令式操作,在下载目录下打开终端工具。输入.\waifu2x-caffe-cui.exe --help即可查看详细帮助说明,更多使用方法可以参考文档

在命令行界面下,有如下模型可供选择: * models / anime_style_art_rgb:2D 插图(RGB 模型) * models / anime_style_art:2D 插图(Y 模型) * models / photo:照片/动画(照片模型) * models / upconv_7_anime_style_art_rgb:2D 插图(UpRGB 模型) * models / upconv_7_photo:照片/动画(UpPhoto 模型) * models / upresnet10:2D 插图(UpResNet10 模型) * models / cunet:2D 插图(CUnet 模型) * models / ukbench:老式的摄影模型(仅包括放大的模型。无法去除噪音)

2. Docker 版

作者使用 LuaRocks 作为基础开发环境,不熟悉这个环境的也不用在意会卡在环境上,我们只需要本地构建 docker 镜像即可。

git clone https://github.com/nagadomi/waifu2x.git
cd waifu2x
docker build -t waifu2x .

镜像构建完毕后,如果想启动 web 界面,可以运行docker run --gpus all -p 8812:8812 waifu2x th web.lua ,这样就可以得到演示站一样的效果。
如果想直接转换当前图片目录下的文件,可运行如下命令:

docker run --gpus all -v `pwd`/images:/images waifu2x th waifu2x.lua -force_cudnn 1 -m scale -scale 2 -i /images/miku_small.png -o /images/output.png

唯一需要注意的是,仅靠 CPU 是非常慢的,如果是 wsl2 或者自带 GPU 的服务器,只需提前安装好 CUDA 驱动即可。

3. 效果分析

依靠深度学习,我们发现插画类放大后,会自动降噪、锐化,少量细节会丢失,不过整体而言,对比原图后画质更高、画面风格也更柔和、纯粹。

处理速度方面,由于是单张图片,一般都是几秒钟就完成,上图是放大 16 倍,使用 CUnet 模型,拆分尺寸为 128,硬件环境为 RTX2070super,耗时 3 分 45 秒,实际运行 CUDA 占用 80%左右。

如果用命令行模式批量转换一段视频,假设每张耗时 1 秒钟,1 分钟 24 帧的视频,将会消耗 1440 秒,也就是 1 分钟视频将花费 24 分钟,如果采用并行处理或优化算法,估计会少用一点时间。后面可以尝试下这个方法。

联系方式
广告
网站统计

累计发布:211 篇

总点赞量:1322

累计运行:5 年 198 天

建站日期:2018-10-25