马赛克也能变高清 超分辨率算法如何实现480P变4K

805

相信不少人都喜欢在电脑上观看电影、动漫等视频资源，无论是在本地观看还是在线观看，高清晰度，高分辨率的视频才能带来更好的观看体验。但对于那些怀旧党来说，可能就没那么幸运了。在过去，受限于技术原因，很多老电影、老动漫的分辨率可能都没有达到720P的水平，这就导致观看体验大打折扣，毕竟在这个4K视频都随处可见的年代，低分辨率的资源确实有点落伍了。其实就算放眼到整个行业中来看，超高清内容缺乏也是产业普遍存在的痛点，渠道的不完善，拍摄、制作水平的不成熟，技术的不足都成为了阻碍行业发展的绊脚石，为了提高超高清视频的生产能力，同时最大限度地节省成本，就需要人工智能的介入，超分辨率算法就是解决这个问题的很好途径。提到超分辨率算法，可能屏幕前的很多人还不太熟悉，但一提到DLSS、FSR或者Xess，游戏玩家肯定都有所耳闻，虽然他们仨涉及的技术都不太一样，但从结果来看，这三种技术都能提高游戏分辨率，带来更好的游戏体验。而今天要说的超分辨率算法，某种意义上和AMD的FSR技术可以说是相当相似。

* ~! h4 X( X0 D8 a' r, i. R图像超分辨率问题研究的是在输入一张低分辨率图像时，如何得到一张高分辨率图像，传统的图像插值算法可以在某种程度上获得这种效果，比如最近邻插值、双线性插值和双三次插值等，但是这些算法获得的高分辨率图像效果并不理想。在图像处理方面，又一个著名的算法waifu2x，它使用了SRCNN卷积神经算法，SRCNN是首个使用CNN结构（即基于深度学习）的端到端的超分辨率算法，它将整个算法流程用深度学习的方法实现了，并且效果比传统多模块集成的方法好。
% `7 \  ^4 }, a0 lSRCNN流程如下:首先输入预处理。对输入的低分辨率LR图像使用bicubic算法进行放大，放大为目标尺寸。那么接下来算法的目标就是将输入的比较模糊的LR图像，经过卷积网络的处理，得到超分辨率SR的图像，使它尽可能与原图的高分辨率HR图像相似。
而AI超分辨率技术则是图像修复技术领域的一个方向。
1 n' x' L) ]; U动漫视频的产出过程中往往带有一系列数字信号处理的过程，包括锯齿、晕轮、色块、噪声处理，模糊线条处理等等，在以前，视频工作者往往需要对源进行下采样，在母带分辨率下对不同片段进行参数分析，并通过一系列滤镜进行手工修复，这造成了很大的人力成本。而今天的主角，就是B站AI实验室开源的Real-CUGAN工具（项目地址：https://github.com/bilibili/ailab/tree/main/Real-CUGAN），只要用了它，就可以把动画图像的质量提升2到4倍，而且近乎无损。

5 H% g$ A1 B3 f* ^- k* R, g, q8 c% ~Real-CUGAN的全称为Real Cascaded-U-Net-style Generative Adversarial Networks（真实的、级联U-Net风格的生成对抗网络），使用了与Waifu2x相同的动漫网络结构，但由于使用了新的训练数据与训练方法，从而形成了不同的参数和推理方式。
& W9 t! D# J0 s/ k; ]0 P* o- Q技术细节方面来看，Real-CUGAN会先行对动漫帧进行切块处理，然后使用图像质量打分模型对候选块进行打分过滤，得到一个百万级的高质量动漫图像块训练集。
1 Z3 H5 o* d  k# i, V& Y, k& o然后使用多阶段降质算法，将高清图像块降采样得到低质图像，通过让AI模型学习、优化从低质图像到高质图像的重建过程，训练完毕后即可对真实的二次元低质图像进行高清化处理。
' h9 N& q/ P5 H目前Real-CUGAN支持2x\3x\4x倍超分辨率，其中2倍模型支持4种降噪强度与保守修复，3倍/4倍模型支持2种降噪强度与保守修复，同时，如果你是Windows用户，作者还贴心地准备了Windows-GUI版本，https://github.com/Justin62628/SquirrelRIFE/releases/tag/v0.0.3，下载后即可使用。
与Waifu2x(CUNet)和Real-ESRGAN(Anime6B)相比，Real-CUGAN的优势还是比较明显的，作者也进行了一波对比，结果如下：

4 z& ^4 I, l+ M9 I, y目前B站的OGV国创剧《镇魂街第二季》已经已经上线了经过超分的4K分辨率版本，相信在未来，更多老番的高清重置版本也会在路上，AI技术的发展，正在从各个角度提升我们的体验。
1 f9 u5 V; |. Q+ a* {3 a: ~7 `" t& J
5 q& K9 [$ }( q$ _+ Q

. r: c8 Q: A; X, O
! z0 t) w- g, z8 u
. S% M. W$ Y. A% I) O