从围棋界所向披靡的“阿尔法狗”到势不可挡的“人脸识别”,机器学习给人们的生活带来了翻天覆地的变化。然而随着AI技术的不断发展,以“智能换脸”为主要表现形式的Deepfake技术却给大家的生活带来了更多的困扰。2018年,加蓬总统阿里·邦戈中风,消失数月。为了安抚民心,政府在元旦当天公开了总统新年讲话的一段录音。这段新年致辞是使用Deepfake技术生成的,但是这段视频不仅没有安抚民心,反而让军方高层发现了异常,最终导致兵变。在此次事件中,“AI换脸”技术成为干预政治选举、降低政府公信力的一大推手。在很多人的印象中,Deepfake技术似乎处在社会的阴影之中,只不过它可以让有需要的人通过AI换脸看到色情视频。图1deepfake图片(图片来源:http://zkres1.myzaker.com/)对于普通人来说,deepfake技术可以说是假的,没有破绽。我们真的分不清网络上流传的视频的真假吗?别着急,俗话说“魔高一尺,道高一尺”。在专业人士手中,通过详细的计算机分析,可以识别照片和视频的真伪,让经过Deepfake技术处理的内容“原形毕露”。Deepfake技术的原理就是学习,学习,再学习。要了解Deepfake技术是如何被识破的,首先要了解什么是Deepfake技术。Deepfake是深度机器学习(deepmachinelearning)和假照片(fakephoto)的结合。可以理解为机器为深度学习制作的假照片、假视频等假产品。最常见的应用之一就是“AI换脸”,即将一个人的脸移植到另一个人的脸上。换脸时,机器首先需要识别人脸的位置。人脸识别和标定也广泛应用于自动驾驶等领域。目前发展非常成熟,识别率达到98%以上。换脸使用的素材往往与视频中要换脸的人脸在面部方位、面部表情等方面有所不同。因此,机器在识别出人脸的位置后,还需要进一步对人脸进行标定。通过寻找面部具有鲜明特征的区域,机器可以确定每一帧中面部的方位和表情,然后将需要插入视频中的面部与素材进行匹配。匹配完成后,换脸技术并不是简单地将换脸材料贴在待换人的脸上。简单的纹理很容易被肉眼识别,很难达到“厌恶真实”的效果。Deepfake技术的进一步学习原理可以类比人类行为。如果你盯着A脸看100小时,再看B脸的照片;然后让你凭记忆画出B的脸,无论你的技术水平多高,你最终都会画出一张和A非常相似的脸。因此,当我们训练机器,让机器学习使用A的元素时A面画B面,我们就可以在B面上逼真地“画”出A面。图2看B,画A(来源:原文)逼真的Deepfake技术也有小瑕疵。机器学习产生的换脸视频和照片如此逼真,那么Deepfake技术到底有什么破绽呢?中国有句古话叫“欲人不知,己不可为”。换脸技术的硬伤在于面材的细节处理。Deepfake技术是利用A面的元素来绘制B面,这个过程是对A面的元素进行了一次精致的拼接,而这个拼接过程势必不会完美符合真实情况。纽约州布法罗市布法罗大学的计算机科学家从“眼睛”这个人脸最精致的元素入手,实现了Deepfake技术的识别。这项技术的核心原理是基于眼球的反射。当环境光照射到眼睛时,它会被反射,在角膜上形??成图像。在真实的照片中,两只眼睛注视同一个物体会有非常相似的反射模式。但在Deepfake合成的照片中,两只眼睛的反射内容往往不一致。很有可能用左眼“看到”一只小狗而用右眼“看到”一辆卡车。检测机首先提取两只眼睛的反射内容,然后检测左右眼的反射内容、反射光强度等参数是否协调,进而可以识别照片和视频是否已经合成.该方法已被证明具有94%的实验有效性。此外,常见的检测方法还包括:(1)从视频的2D图像中估计3D姿态。使用Deepfake技术合成的视频,三维姿态可能会突然发生较大的突变。比如视频中的人,上一帧是挺胸吸气的状态,下一帧很快就变成了下沉呼气的状态,那说明视频肯定是合成过的。(2)捕获Deepfake技术在处理视频时扭曲图像在环境中产生的“伪影”。(3)捕获左右异色虹膜、光影不协调、几何建模错误等缺陷。(4)根据明星的行为习惯,检测视频中是否存在相应的独特行为特征(如摸鼻子、歪嘴等)。图3deepfake视频中的虹膜异色(来源:知乎)deepfake检测中的“猫鼠游戏”在不断发展的过程中,deepfake检测技术仍将面临诸多挑战。第一点是有些技术本身需要一定的信息量。例如,如果视频中没有同时出现两只眼睛,则无法应用上述眼睛反射检测技术。对于虹膜颜色的检测,在视频质量不高的情况下也难以使用。第二点,检测技术和换脸技术是一个“不断发展、相互竞争”的过程。例如,为了捕捉上文提到的光照和阴影的不一致性,换脸器可以在换脸时使用更多的资源进行光照模拟和渲染,从而保证阴影生成的质量。从这个角度来看,检测和换脸技术就像是一场“猫捉老鼠的游戏”,两者不断迭代,你追我赶。今天的检测技术提出利用眼球的反射光进行检测,明天的换脸技术可以在学习内容中加入模拟眼球的反射光。检测技术必须不断更新,才能跟上Deepfake技术的发展步伐。第三点,检测技术与自动化还有一定距离。现有的检测技术耗时较长,难以在用户上传视频的同时在短时间内自动完成检测和审核。在实用的自动deepfake检测软件之前还有一段路要走。第四点,目前对于Deepfake技术还没有完善的规定。每个视频平台都有自己的规则来定义什么样的Deepfake视频是恶意和非法的。同时,目前还没有针对Deepfake技术的相关法律。这给Deepfake视频的检测和控制带来了诸多困难。虽然deepfake检测技术还面临诸多挑战,但相信随着AI技术的不断发展,相关法规会逐渐完善,针对deepfake的检测技术会更加精准高效。总有一天,假视频会在检测技术的“金眼”下全部露出真面目。利用技术漏洞,滥用Deepfake技术,迟早会受到惩罚。Crossref,GoogleScholar(HuS,LiY,LyuS.ExposingGAN-generatedFacesUsingInconsistentCornealSpecularHighlights[J].2020.)
