• 欢迎访问佰阅部落
  • 如果您觉得本站非常有看点,那么赶紧使用Ctrl+D 收藏吧

waifu2x:一款开源免费的图片无损放大神器

人工智能 佰阅 3年前 (2020-09-14) 5495次浏览 0个评论

waifu2x是日本的一位大佬nagadomi开发的开源项目,目前累计贡献者有31人,该项目利用人工智能深度卷积神经网络技术来无损放大图片,内置了多种RNN模型,现已支持web端、linux端,Windows客户端等,支持本地显卡CUDA加速,实际体验非常令人满意。

0. 在线体验

在线体验地址: http://waifu2x.udp.jp
开源地址: https://github.com/nagadomi/waifu2x

在线最大可放大2倍,可重复放大,本地客户端则无限制放大倍数。

1. Windows本地客户端

Windows客户端下载地址:https://github.com/lltcggie/waifu2x-caffe/releases

图形界面GUI支持英语,日语,简体中文,繁体中文,韩语,土耳其语,西班牙语,俄语和法语。内置了7种神经网络,其中适用于2D插图的有UpRGB模型、RGB模型、Y模型、UpResNet10模型和CUnet模型。适用于照片或动画的有UpPhoto模型和Photo模型。

初次之外,还有CUI命令式操作,在下载目录下打开终端工具。输入.\waifu2x-caffe-cui.exe --help即可查看详细帮助说明,更多使用方法可以参考文档

在命令行界面下,有如下模型可供选择:
* models / anime_style_art_rgb:2D插图(RGB模型)
* models / anime_style_art:2D插图(Y模型)
* models / photo:照片/动画(照片模型)
* models / upconv_7_anime_style_art_rgb:2D插图(UpRGB模型)
* models / upconv_7_photo:照片/动画(UpPhoto模型)
* models / upresnet10:2D插图(UpResNet10模型)
* models / cunet:2D插图(CUnet模型)
* models / ukbench:老式的摄影模型(仅包括放大的模型。无法去除噪音)

2. Docker版

作者使用LuaRocks作为基础开发环境,不熟悉这个环境的也不用在意会卡在环境上,我们只需要本地构建docker镜像即可。

git clone https://github.com/nagadomi/waifu2x.git
cd waifu2x
docker build -t waifu2x .

镜像构建完毕后,如果想启动web界面,可以运行docker run --gpus all -p 8812:8812 waifu2x th web.lua ,这样就可以得到演示站一样的效果。
如果想直接转换当前图片目录下的文件,可运行如下命令:

docker run --gpus all -v `pwd`/images:/images waifu2x th waifu2x.lua -force_cudnn 1 -m scale -scale 2 -i /images/miku_small.png -o /images/output.png

唯一需要注意的是,仅靠CPU是非常慢的,如果是wsl2或者自带GPU的服务器,只需提前安装好CUDA驱动即可。

3. 效果分析

依靠深度学习,我们发现插画类放大后,会自动降噪、锐化,少量细节会丢失,不过整体而言,对比原图后画质更高、画面风格也更柔和、纯粹。

处理速度方面,由于是单张图片,一般都是几秒钟就完成,上图是放大16倍,使用CUnet模型,拆分尺寸为128,硬件环境为RTX2070super,耗时3分45秒,实际运行CUDA占用80%左右。

如果用命令行模式批量转换一段视频,假设每张耗时1秒钟,1分钟24帧的视频,将会消耗1440秒,也就是1分钟视频将花费24分钟,如果采用并行处理或优化算法,估计会少用一点时间。后面可以尝试下这个方法。


佰阅部落 , 版权所有丨如未注明 , 均为原创丨本网站采用BY-NC-SA协议进行授权
转载请注明原文链接:waifu2x:一款开源免费的图片无损放大神器
喜欢 (1)

您必须 登录 才能发表评论!