本文经AI新媒体量子位（公众号ID：QbitAI）授权转载，转载请联系出处。如何加水印更流畅？谷歌的新技术让文字几乎贴在地上，即使在尘土飞扬的场景中也是如此。最新视频抠图技巧：阴影和烟雾可以抠图，加水印更流畅|开源》>方法也很简单，输入一段视频和指定物体的粗略蒙版即可。最新视频抠图技术：阴影和烟雾可裁剪，加水印更流畅|开源》>然后所有相关该对象的场景元素可以解锁！比如人影和狗影。最新视频抠图技术：阴影雾霾可剪，加水印更流畅|开源”>和上述赛车飞驰造成的沙尘。无论任何物体或主体，无论它如何移动，都可以提取所有元素。这就是谷歌最新的视频分层技术——omnimatte，它是入选CVPR2021Oral，这项技术现已开源，如何实现计算机视觉在图像或视频中分割物体越来越有效，然而场景效果与物体相关。场景效果如阴影，反射和生成烟雾往往被忽视。识别这些场景效果对于提高AI的视觉理解非常重要，那么谷歌是如何实现这项新技术的呢？简单来说，用分层神经网络渲染的方法自监督训练一个CNN，将主体与主体分开。背景图像。由于CNN的独特结构，会倾向于学习图像效果之间的相关性，相关性强，ea更重要的是CNN需要学习。最新视频抠图技巧：阴影和烟雾可以抠图，加水印更流畅|opensource》>输入一个带有运动物体的视频，以及一个或多个粗略的分割mask来标记主体。首先，使用现成的分割网络如MaskRCNN，将这些主体分为多个mask层和背景噪声层，并按照一定的规则对他们进行排序。比如在骑手、自行车和几个路人的场景中，骑手和自行车归为一层，人群归为第二层。omnimatte模型是一个二逐帧处理视频的维UNet。每一帧都使用现成的技术来计算对象蒙版以标记移动的主体并发现和关联蒙版中未捕获的效果，例如阴影、反射或烟雾，从中重建输入帧。为了确保不捕获其他静止背景元素，研究人员引入了稀疏损失。此外，为视频中的每一帧和连续帧之间计算密集的光流场，为网络提供与该层对象相关的流信息。最后生成Alpha图像（opacitymaps）和RGBA彩色图像，尤其是RGBA图像，可以说是视频/图像编辑的法宝！最新视频抠图技巧：阴影和烟雾可以抠图，加水印更流畅|开源》>目前这项技术已经开源，配置环境如下：LinuxPython3.6+NVIDIAGPU+CUDACuDNN技术效果有什么用，那又怎样？有什么用？首先，可以复制或删除图片最新视频抠图技术：阴影和烟雾可以抠图，加水印更流畅|开源”>平滑切换背景。最新视频抠图技巧：阴影和烟雾可以抠图，加水印更流畅|开源》>这个经典操作也可以实现，让原本落水的小朋友一起下水~背后的团队最后说说背后的团队吧。最新的视频抠图技巧：阴影和烟雾可以被抠图，加水印更顺畅|开源”>这项研究由谷歌研究院、牛津大学和魏茨曼科学研究所共同完成。其中，第一篇论文是牛津大学四年级博士生ErikaLu，她曾在谷歌实习，获得麻省理工学院计算机科学与工程学士学位。最新视频抠图技巧：阴影和烟雾可以抠图，加水印更流畅|开源》>论文链接：https://arxiv.org/pdf/2105.06993.pdf
