本文经AI新媒体量子位授权转载（公众号ID:QbitAI)，转载请联系出处。如何把模糊的老电影高清化？人工智能的答案是超分辨率算法。现在，在视频超分领域，有一个强大的算法，在超分大赛NTIRE2021中获得了三冠一亚，并且进入了CVPR2022，它的名字叫BasicVSR++，是对视频超分辨率SOTA模型BasicVSR。BasicVSR也获得了NTIRE冠军，入选了CVPR2021。现在，在参数基本相同的情况下，这个BasicVSR+++不仅性能大大超过前辈，而且PSNR（峰值信噪比，图像质量评价指标)降低了0.82dB，也可以应用于更多的视频修复任务（如压缩视频增强）。BasicVSR增强版BasicVSR采用双向传播（propagation）+特征对齐的方式，可以从整个输入视频中提取有效信息进行超分辨率。然而，其基本设计也限制了信息聚合的功效，例如难以恢复精细细节，尤其是在处理复杂的遮挡区域时。因此，BasicVSR++的增强版在传播和对齐方面进行了改造，采用二阶网格传播和流导变形对齐的设计来改进网络。信息聚合能力，以提高遮挡区域的鲁棒性和有效性。其中，二阶网格允许信息从不同的时空位置向前和向后传播，使得特征传播更加有效。光流引导的可变形对齐允许更稳健的帧特征对齐。使用这种对齐方式主要是因为纯变形对齐的训练效果不稳定，虽然可变形卷积（DCN）网络中具有多样性的偏移量（offset）使得变形对齐的性能优于光流对齐。BasicVSR+++的具体架构如下：给定一个输入视频，首先使用残差模块对每一帧进行特征提取；然后将这些特征在二阶网络传播中进行传播，对齐部分采用光流引导变形对齐；信息传播完成后，聚合特征产生输出图像。性能是16种同类算法中最好的。作者比较了16种不同的视频超分辨率算法的性能、参数量和耗时。结果是BasicVSR++在所有数据集下的两种退化方法都取得了最好的性能（红色代表最好的分数，蓝色代表下一个最好的分数）。特别是与大容量滑动窗口算法EDSR相比，BasicVSR++在参数减少65%的情况下实现了1.3dB的性能提升；性能改进。BasicVSR++(S)的轻量版与前身BasicVSR相比也有0.82dB的提升，收益显着。在具体效果上，无论是在REDS4、Vimeo-90K-T还是Vid4数据集上，BasicVSR++都能还原极其细致的图像，效果是最好的。目前BasicVSR++的代码已经开源，感兴趣的同学可以尝试一下。作者简介KelvinC.K.Chan来自南洋理工大学计算机科学与工程学院。他正在攻读博士学位的第三年。毕业于香港中文大学。目前研究方向为图像/视频修复，共发表顶级会议论文5篇。通讯作者是他的导师，南洋理工大学计算机学院副教授，商汤-南洋理工大学联合实验室S-Lab副主任ChenChangLoy。他们也是BasicVSR的原始类作者。BasicVSR++的其余两位作者分别是：该校博士二年级学生周尚臣和该校研究员徐翔宇。论文地址：https://arxiv.org/abs/2104.13371代码：https://github.com/ckkelvinchan/RealBasicVSR
