真的有人可以模仿你的脸，绕过人脸识别系统！近日，斯坦福大学的研究人员在arxiv上发表了一篇论文。虽然是StanfordCS236Gcourseassignment，但是论文提出了一个很有意思的想法，使用对抗生成网络GAN生成人脸图像来模仿目标人脸。查看人脸识别系统是否可以正确验证。由于保留了人脸的关键特征信息，论文结果表明生成的人脸图像仍然可以通过人脸验证。对于那些只依赖于平面图像识别的系统来说，简直就是一种防御。论文链接：https://arxiv.org/pdf/2203.15068.pdf研究人员对两款交友APP的人脸验证系统进行了黑盒测试，轻松攻克人脸验证过程，甚至将女脸转换成男脸faces之后，仍然可以通过人脸验证。根据作者的说法，这项工作是第一次尝试使用生成的图像绕过面部验证，其中原始面部图像具有特定的识别特征，但也可以验证另一个经过实质性改变的身份。这是谁的脸？由于在线验证系统受到威胁时各种欺诈行为会产生非常负面的后果，因此人们特别关注检测和打击冒名顶替者。与普通身份验证不同，人脸验证是根据人脸图像对所声称的身份进行验证。面孔和身份是一一对应的，但是一旦有另一张完全不同的面孔可以打开和你一样的锁，你如何证明“我就是我”？目前，很多手机APP都声称人脸验证技术是安全的，可以保护用户的身份。例如，Bumble、Tinder等交友软件的识别过程是，用户使用应用内置的相机拍摄一张照片，然后与用户个人资料中的照片进行比对。比较的。这种利用照片进行人脸检测存在一个很大的问题：使用一张可以绕过人脸识别系统的假照片就可以通过验证。如果你想要一张与原始人脸具有相同特征但看起来不同的人脸，那么对抗生成网络模型是完美的。但是自从GAN诞生以来，如何控制生成的图像与预期一致，或者说通过一个特征向量来引导GAN模型的生成过程，一直是GAN潜在空间面临的主要挑战。虽然梯度加权类激活映射(Grad-CAM)等技术和工具可以帮助建立类之间的潜在方向并实现转换，但如果进一步观察生成的图像，就可以看到这些类型的模型对于转换。控制非常有限。实验方法作者使用了两个数据集作为实验基础：一个是人类用户数据集，由论文作者的310张人脸图像组成，时间跨度为四年，光照、年龄和透视不同，通过Caffe提取裁剪后的人脸；另一个是来自FairFace数据集的类平衡108,501图像，同样被提取和裁剪。为了在本地验证实验结果，研究人员在本地构建人脸验证模型，主要使用基于FaceNet和DeepFace的ConvNetInception预训练模型，图像向量的训练使用tripletloss，其中A为anchorimage，P是正例，N是负例，α是区间。该验证模型使用来自FairFace训练子集的人脸图像。为了通过人脸验证，计算输入图像与数据库中目标用户之间的Frobenius范数距离。任何低于0.7阈值的图像都相当于同一身份，否则认为身份验证失败。对于图像生成模型，作者直接使用StyleGAN模型，在个人数据集上微调。随机生成的图片可以直接通过本地人脸验证系统，图片看起来和训练数据集中的图片不一样。微调时冻结前四层的权重，避免数据过拟合生成与训练数据集过于相似的人脸图像。虽然使用基本的StyleGAN模型可以获得与原始人脸不同的图像，但基线模型的结果在质量上与训练数据集的图像相似（多样性差）且分辨率较低（保真度低）。).作者的第二次尝试使用了StarGANv2模型，可以针对目标人脸在种子图像上进行训练。为防止过拟合，StarGANv2模型使用FairFace验证集进行了约10小时的预训练。为了生成图像，作者还尝试使用训练数据作为种子图像（参考），并将人类用户数据集的处理图像作为源图像（来源）。作者还尝试使用来自个人用户数据集的处理图像作为种子和源图像，但结果并没有太大改善。在验证过程中，作者首先随机抽取了1000张人脸图片，找出哪些人脸通过了本地测试验证，然后测试GAN生成的图片能否匹配成功。下图中，左边的照片是作者，中间的照片是验证失败的照片，右边的照片是验证通过的照片。实验的目标是在保留目标身份的决定性特征的同时，在感知的视觉身份之间创建尽可能大的差距，使用马氏距离作为评估指标，这也是模式和模板搜索的常用指标在图像处理中。对于基线生成模型，尽管进行了部分人脸验证，但获得的低分辨率结果显示多样性较低，而StarGANv2能够创建更多样化的验证通过图像。生成的图像以作者的身份图像为基准，通过约会软件Bumble和Tinder的面部验证系统进行测试，并成功通过验证。作者面部的“男性”版本也通过了Bumble的验证过程，尽管必须在生成的图像中调整灯光才能被接受，而Tinder更聪明，没有被愚弄。这些是GAN潜在空间操纵背景下身份投射的开创性实验，这在图像合成和深度造假研究中仍然是一个巨大的挑战。这项工作还开启了持续将高度特定的特征嵌入不同身份的概念，以及创建“代理”身份以“读取”他人身份的概念。魔高一丈，道高一丈。如今，在人们的日常生活中，“刷脸”已经非常普遍，如商铺客流统计、无人售货柜刷脸支付、单位门禁、家庭门锁、公交/道路“刷脸”技术被广泛应用应用于安防监控、公司人脸识别考勤、快递包裹领取、银行卡开户、在线支付、酒店入住等领域，并正在不断扩大。目前，人脸识别技术可分为两类：基于2D人脸图像和基于3D人脸图像。二维人脸识别是通过二维摄像头拍摄平面图像，所以即使算法和软件再先进，安全级别也不够高，信息有限，很容易通过照片被破解。早在2019年，就有小学生手持照片“破解”了丰巢的人脸识别系统。安全等级更高的3D人脸识别系统采用3D摄像头进行立体成像。一般有4个探头，其中两个是大摄像头，另外两个是补光的红外探头，一个是可见光探头，两个摄像头相互配合形成3D图像，从而还原出完整的三-次元世界。目前的3D人脸识别技术可以准确区分照片、视频、面具和双胞胎。目前广泛应用的人脸识别认证系统中还有一项至关重要的技术——活体检测，即系统摄像头可以正确识别人脸是否为人脸，同时核对是否有人使用照片和其他方式冒充合法用户。这就是为什么在银行“刷脸”时，往往会要求用户完成“左右看”、“眨眼”等动作。魔高一丈，道高一丈。只有不断对抗，技术才能不断向上发展。
