一位英国电影导演正在尝试使用人工智能(AI)技术来彻底改变我们观看外国电影的方式,方法是对演员的面部进行数字编辑,使他们看起来像是在说他们将在Same中配音的外语。斯科特·曼(ScottMann)执导了2015年由罗伯特·德尼罗(RobertDeNiro)主演的惊悚片《双面劫匪》,他被这部电影的配音版本惊呆了。他受此启发创建了自己的初创公司。Mann受到德国马克斯普朗克信息学研究所的启发,该研究所一直致力于以数字方式重新生成面部图像。这项研究促使他创办了一家公司。该公司使用人工智能系统研究演员头部、颈部和嘴部动作的数百万个细微变化,能够从每一帧画面中积累知识。人工智能工具从电影中获取演员的2D面部图像,并将其复制为3D图像。新的头像结合了我们已知的关于人们在说电影配音时如何移动嘴巴的知识。该工具计算特定演员说该语言的嘴部动作,为每一帧创建一个新的头部3D模型。完成后,配音演员的录音被输入系统,图像被转换回2D。接下来的润色工作交给了特效团队。该公司发布的剪辑显示,汤姆汉克斯在电影《阿甘正传》的剪辑中与用日语、西班牙语和德语配音的台词无缝对口。人工智能系统扫描电影的每一帧,观察演员说话时头部、颈部和嘴巴的动作。在学习了演员独特的说话方式后,系统创建了他头部的3D模型。然后,工程师运行一个程序,了解人们在配音语言中的典型嘴部动作,并能够计算出演员在该特定语言中的独特嘴部动作。将讲新语言的配音演员的录音输入系统。接下来,系统会为演员的嘴巴和面部动作的每一帧与新语言同步创建一个新的演员头部3D模型,确保每个显示他们说话的摄像机都被覆盖。角度。然后将这些画面制作成真人版,最后的润色可以交给特效团队。
