当前位置: 首页 > 科技观察

你讲故事,它剪视频:AI视频剪辑自动化解放熊猫眼编辑

时间:2023-03-13 21:10:52 科技观察

视频剪辑是一项费时费力的工作,需要编辑找到合适的帧并将它们拼接在一起。如果这个过程可以自动化,一些剪辑师可能就不用熬夜剪辑电影了。来自清华大学、北京航空航天大学、哈佛大学和以色列荷兹利亚交叉学科研究中心的研究人员开发了一种全新的视频编辑方法,可以通过编辑视频对应的文字来完成镜头选择和拼接,生成符合连贯性的视频到文字说明。研究人员提出的这个工具叫做“Write-A-Video”,它可以根据文本决定选择库中的哪些镜头或场景,从而组成剪辑师需要的故事情节。这个工具对新手非常友好,即使你没有专业的视频剪辑技巧,也可以得到高质量的视频剪辑。研究人员还提出了一种新的视频编辑界面,用户可以直接对文本进行操作,而无需对视频帧进行操作。他们在不同主题的文本和视频语料库上进行了测试,并进行了定量评估和用户研究。结果表明,这种结合了人类和算法能力的智能数字工具可以在创作过程中协助用户。借助Write-A-Video工具,没有任何视频编辑经验的用户也能剪出满意的视频,有时甚至比使用帧编辑工具的专业人士还要快。该团队准备在本月17日至20日的ACMSIGGRAPH亚洲会议上展示成果。ACMSIGGRAPHAsia是由国际图形协会主办的计算机图形与交互技术展览及会议,是计算机图形领域的国际顶级会议。研究人员说,“Write-A-Video”允许编辑者通过简单地编辑视频附带的文本来创建视频剪辑。他们可以添加或删除文本,将句子移动到视频编辑操作中,例如找到相应的镜头,剪切或重置镜头等。编辑过程分为三个步骤:(1)用户提供输入,大部分时间它正在编辑文本;(2)系统自动在视频库中搜索符合语义的镜头;(3)拼接视频。通过级联关键字匹配和视觉语义嵌入实现分割文本和镜头之间的视觉语义匹配,比其他解决方案更准确。在给定时间限制的情况下,视频重组被定义为对电影指标(例如镜头、相机运动和色调)以及用户指定的电影习语的组合的优化。“Write-A-Video利用当前最先进的自动视频理解和独特的用户界面来生成更自然和简单的视频剪辑,”Herzliya跨学科研究中心教授ArielShamir说。“使用我们的工具,用户以文本编辑的形式提供输入。该工具会自动搜索视频库以寻找语义匹配的候选镜头,然后使用优化方法通过自动裁剪和镜头重新排列来组装视频蒙太奇。”北京航空航天大学虚拟现实技术与系统国家重点实验室助理研究员、硕士生导师王淼博士表示:“Write-A-Video可以让用户通过电影技术习语探索每个场景的视觉风格,从而加快或减慢视频的节奏,增加或减少动作内容等。”此外,在从视频库中选择候选镜头时,写视频会考虑镜头的美感,自动选择光线充足、聚焦良好、清晰稳定的镜头。清华大学胡世民教授说:“在任何时间点,用户都可以在旁白的帮助下渲染视频和预览视频片段。”“观看名人镜头”的选项在许多视频网站上已经存在了一段时间,最近对自动裁剪似乎让自动化更进了一大步,这样的技术什么时候才能进入实用阶段?项目链接:http://www.faculty.idc.ac.il/arik/site/writeVideo.asp参考链接:http://siggraphasia.mystrikingly.com/blog/lights-camera-and-text-novel-video-editing-tool-for-user-friendly?categoryId=129388