本文经AI新媒体量子比特（公众号ID：QbitAI）授权转载，转载请联系出处。一个人骑着自行车，无影无踪地穿过沙丘。目击者声称他在他眼前消失了：这位网球运动员因为击球太重而用球拍擦掉了。查看监控摄像头无影无踪：少女在广场跳舞，光天化日之下消失得无影无踪：中学男生周末荡秋千，半空中只剩下秋千椅，家长称孩子被安然无恙1秒前：马术运动员骑马过围栏马马双双失踪，网友怀疑有门活人：帆船运动员出海后神秘失踪，主办方仍未找到经查：奇怪的现象让人怀疑视频魔术使用了与《九又四分之三》相同的平台。没错，这就是今年ECCV上最惊艳的AI伪装技术。让网友们惊叹不已，这种情况堪称灭霸。我什至开始担心，如果这种技术被小偷利用，家具会“飘走”。也有国外网友乐此不疲，觉得可以用来屏蔽广告，很不错。这件隐形斗篷是如何制造出来的？基于光流边缘引导的视频补全算法AI，完美去除水印和删除字符，实际上是一种基于光流的视频修复算法。此前，量子位曾推出中大商汤联合实验室与南洋理工大学的光流引导视频修复算法。然而，以前基于光流的方法往往不能保持运动边界的清晰度，使得修复的图像不够平滑。此外，由于之前的方法是在相邻帧之间的局部光流连接中传播颜色，因此并非视频中所有被水印覆盖的区域和对象都可以通过这种方式恢复，这会导致伪影。为了解决这些问题，来自弗吉尼亚大学和Facebook的研究团队主要采用了以下三种方法：Piecewise-smoothflowcompletion（分段平滑流完成）非局部流邻居（Non-localflowneighbors）Seamlessfusion(SeamlessBlending)具体来说，首先，网络的输入包括自己要修复的视频，以及一个二值mask视频来表示哪些部分需要算法合成。然后，计算相邻帧之间的光流和一组非相邻帧之间的光流，提取流的边缘并完成。下图中的红线是神经网络“脑补”的边缘。然后使用流边缘来指导恢复视频中被水印/人物阻挡的缺失区域。下一步是根据光流的轨迹为每个缺失像素计算一组候选像素。每个候选像素都有相应的置信度分数和二元有效性指标。以上图为例，绿色区域为缺失部分，黄线、橙线、棕线分别代表第一个非局部帧、当前帧和第三个非局部帧的扫描线。可以看出，通过跟踪光流轨迹（黑色??虚线），计算出地图上蓝色像素的候选像素。但是由于人体腿部运动造成的遮挡，很难计算出红色像素的候选像素。然而，在引入非相邻帧的非局部光流后，红色像素得到一个额外的非局部区域（黄色和棕色线上的红色像素），从而可以计算出真实背景。然后，再次在梯度域中，使用置信度加权平均值，融合每个缺失像素的候选以重建颜色。最后，迭代这个过程，直到没有丢失的像素。实验结果：从SOTA的视觉效果来看，这个AI的隐身练习是非常成功的。与Diffusion和商汤的徐锐等人的算法相比，新方法提供了更清晰的运动边界和更平滑的效果。那么定量对比的结果如何呢？直接上数据。在DAVIS数据集上，研究人员将该方法与现有方法进行了对比，对比了水印等静态物体的视频补全结果和运动物体的合成掩码。结果表明，新方法在所有指标上都取得了最好的性能。关于作者这个很酷的AI隐形斗篷是由弗吉尼亚理工大学和Facebook打造的。一个是三年级博士陈高。弗吉尼亚理工大学的学生。他的研究方向是计算摄影和计算机视觉，师从弗吉尼亚理工大学助理教授Jia-BinHuang。这项工作是他在Facebook实习期间完成的。目前，他在谷歌担任研究实习生。作者还表示，这款AI隐形斗篷的代码将在近期开源，并发布在线demo。传送门项目地址：http://chengao.vision/FGVC/论文地址：https://arxiv.org/abs/2009.01835
