本文经AI新媒体量子位（公众号ID：QbitAI）授权转载，转载请联系出处。从视频中找到一个人消失的踪迹始终是一个挑战。毕竟，你永远不知道，在录制的节目中，哪位明星艺人会突然翻车，形象一落千丈，后期团队被迫紧急加班，以各种方式掩盖自己的踪迹。比如某卫视春晚强行让知名主持人消失；还有一档综艺把不合适的艺人改成卡通人物：如果有一个AI，可以一键删除所有这些人物，而且保证观众看不到错误就好了。现在，CVPR2019的一项研究让这一需求成为了现实。以美国队长3为例。在机场大战中，飞天的红色反派是被标记的蜘蛛侠，他正在用蜘蛛丝绑住蚁人。现在，AI出来了，蜘蛛侠没了，只剩下蚁人一个人被蛛丝束缚缠绕，好像这些蛛丝有自动束缚的功能似的。再比如，《疯狂动物城》中的兔子Judy也被标红了。它在冰面上奔跑，爬上了冰山，经不起滑溜溜的冰，掉进了水里。AI拍摄后，朱迪免去了攀冰的痛苦，镜头里只有他在冰面上的影子。人物原位被完美还原，根本看不出有一只兔子被剪掉，仿佛电影的动画团队重新做了这个镜头。看到这样的效果，不知道上面两个程序后期会不会哭晕：长时间加班产生的效果是别人AI自动完成的，没有违和感，让人物消失的无影无踪。另外，估计拍vlog的视频主播也会开心：再也不用担心到处签到的网红人满为患了，直接用AI删掉多方便啊！其背后的AI是一种名为Flow-Guided的视频修复算法。主要来自商汤科技香港-中大联合实验室和商汤科技南洋技术联合实验室，有入选CVPR2019的周伯磊参与。在GitHub预览链接放出很久之后，这项研究的代码才刚刚发布开源。而在它发布之前，已经有245位GitHub用户star了它，翘首以盼。那么问题来了，在热闹的场景中，一个矫健的身影，哪有那么容易抹去呢？LightChaser正如一开始提到的，隐身是用OpticalFlow实现的。所谓光流在视觉上是这样的：△左边是遮挡版，右边是AI补全版。实际上，它是一个描述物体运动的概念。JamesGibson于1950年提出：它是指在空间中运动的物体，在视平面上，像素运动的瞬时速度。观察者可以是人眼，也可以是照相机。在摄像头拍摄的视频中，帧与帧之间是有时间顺序的，这样就可以从相邻的两帧计算出光流，也就是物体的运动信息。学习到这些信息后，可以用于目标检测，也可以用来修改视频。该团队开发了一个两步算法：第一步，估计光流。第二步，使用光流引导恢复。△上面是第一步，下面是第二步。现在，让我们拆解这两个步骤。第一步，光流估计，遮挡视频的某一部分，AI需要完成这部分的光流。比如下图中的红色就是被遮挡的部分。该团队设计了一个名为DFC-Net的网络，它学习完成不完整的光流。AI训练数据中，遮挡是随机产生的，与完整视频对比学习：左边是随机遮挡；右边是遮挡后的光流（用简单的填充算法初始化），等待完成；中间是标准答案。DFC-Net具有三个子网络。第一个子网络负责粗略地完成光流；结果交给第二个子网进行细化。然后交给第三个网络进一步细化：这样就有了最终的光流补全结果。第二步，是时候根据光流修复视频了。其原理是某一帧中被遮挡的信息可能存在于其他帧中。根据光流提供的运动信息，其他帧中的已知像素可以用来填充当前帧的未知像素。当然，还有一些信息，在整个视频中并没有展现出来。这部分需要依靠传统的图像修复网络Deepfill来弥补。讲解完原理后，我们来全面了解一下算法是如何工作的。完美消失的马术有什么新方法？得和优秀的前辈比一比才知道。对手有两个，一个是CVPR2018的Deepfill，一个是Huang等人出品并入选SIGGRAPH2016的算法。这是第一题。从视频中抹去马术选手和他的马：Deepfill（右上）单靠脑补，马的痕迹非常明显；Huang等人（左下）自然多了，但还是有点灰相比之下，新算法编辑的视频只在地面留下阴影。还有第二个问题，去掉轮滑妹子前面的水印：下面是黄学长等人的结果。妹子跳过原来有水印的位置，还是可以看到很多灰渍：而本文主角的修复结果，几乎看不出视频曾经有过水印：当然，不仅是肉眼观察的结果，这个新的AI在YouTube-VOS和DAVIS两大数据集上的得分都比前辈更好：此外，研究人员还找了30位吃瓜群众仔细测试了人类的认知。首先，在targetremoval上，近80%的用户认为排在首位的应该是这个research（蓝色部分）。在背景填充方面，近70%的用户认为本次调研的填充效果最好。中大与商汤科技联合出品的研究人员中，三位来自中大商汤科技联合实验室，一位来自南洋理工大学。第一个作品徐睿和第二个作品李潇潇都是博士。中大商汤科技联合实验室学生。李潇潇分别在2017年和2018年的DAVIS视频对象分割挑战赛中获得冠亚军。第三作者周伯雷目前为香港中文大学信息工程系助理教授。他刚刚从麻省理工学院获得博士学位。去年获得博士学位，现在h-index高达25。Places2和ADE20K数据集都是他参与的工作，NetworkDissection和ClassActivationMapping也是他的代表作。最后一位作者ChenChangeLoy，毕业于伦敦玛丽女王大学，获得博士学位。现任南洋理工大学计算机科学与工程学院副教授。在实验室教学。吕建勤教授带领团队进行了多项计算机视觉和图像处理相关的研究。在过去的两年里，他还担任过CVPR2019、BMVC2019、ECCV2018和BMVC2018的区域主席，同时也是IJCV杂志的副主编。一个彩蛋，你看，经过苦练，身为兔子的朱蒂，凭借出色的弹跳力弥补了身高的劣势，超越了队友：但实力还是可以隐藏的，所以她又把自己融进了雪地里:论文:DeepFlow-GuidedVideoInpaintingRuiXu,XiaoxiaoLi,BoleiZhou,ChenChangeLoyhttps://arxiv.org/abs/1905.02884项目主页：https://nbei.github.io/video-inpainting.html开源代码：https://github.com/nbei/Deep-Flow-Guided-Video-Inpainting
