，而如果看“眼睛”，你能分辨照片的真假吗？近日，来自纽约州立大学的华裔研究人员提出了一种新的检测方法，可以根据眼睛的形状来判断肖像的真伪。不过，前提是你能把图弄那么大。现在，GAN生成的人脸几乎逼真到“肉眼”检测已经到了瓶颈。比如https://thispersondoesnotexist.com/，每次刷新都会生成一张让你难以分辨真假的人脸。然而，既然这些面孔是基于深度学习生成的，那我们就用魔法打败魔法吧！真实人像（左）、GAN生成的人像（右）最近的研究表明，基于深度学习模型的检测方法确实可以提供很多可行的解决方案。然而，这些方法通常面临两个挑战：缺乏检测结果的可解释性；由于过度拟合，不同合成方法之间的泛化鲁棒性低。为了消除这些限制并探索更强大的模型，来自纽约州立大学奥尔巴尼分校和布法罗分校的中国研究人员提出了一种通过不规则瞳孔形状检测GAN生成的人脸的新方法。论文地址：https://arxiv.org/pdf/2109.00162.pdf结果表明，从两只眼睛中提取瞳孔并分析其形状可以有效地区分GAN生成的人脸与真实人像照片。真人眼（左4），GAN生成的人眼（右4）论文的主要贡献有三方面：发现不规则的瞳孔形状广泛存在于高质量的StyleGAN生成的人脸中，这与真人一致小学生不一样。提出了一种新的基于生理学的方法，可以使用不规则的瞳孔形状作为检测GAN生成的人脸的基础，并且简单有效。所提出的方法不仅可以用于设计自动检测方法，还为使用“肉眼”区分GAN生成的人脸提供了新的线索。眼睛不会说谎作者从人眼的主要解剖部位入手。眼睛的中心是虹膜和瞳孔，白色区域是巩膜。正常人的瞳孔形状几乎是圆形的。然而，在GAN生成的眼睛部分，可以观察到明显的伪影和不一致，例如瞳孔的边界不是椭圆形。人眼解剖结构真眼（左），瞳孔明显呈圆形或椭圆形（黄色）；GAN生成的眼睛（右），瞳孔形状??不规则（红色）这种现象在GAN生成中很常见根本原因之一是当前的GAN模型缺乏对人眼解剖结构的理解，尤其是眼睛的几何结构瞳孔。方法实现作者使用模型自动提取两只眼睛的瞳孔，然后评估这些瞳孔的形状是否为椭圆形。1.瞳孔分割和边界检测首先通过人脸检测器对人脸进行定位，然后使用提取器得到人脸的landmark。在适当裁剪对应于两只眼睛的区域后，使用EyeCool提取瞳孔的蒙版及其边界。(a)输入高分辨率人脸图像；(b)裁剪后的眼睛图像；(c)图像(b)的预测瞳孔遮罩；(d)椭圆拟合后的瞳孔遮罩(c)EyeCool是一种改进的基于U-Net的模型，可以同时分割瞳孔和虹膜、内外边界。其中，EfficientNet-B5被用作编码器，并在解码器中加入边界注意块，以提高模型对物体边界的关注能力。另外，Diceloss和MSEloss都用于训练模型，其中Diceloss用于评估分割部分，MSE用于计算边界热图的回归损失。2.用于椭圆拟合的瞳孔可以使用基于最小二乘法的椭圆拟合方法来预测瞳孔掩模的外边界以估计用于椭圆拟合的瞳孔边界。u是预测瞳孔掩模外边界上点的坐标，使用最小二乘法找到一组参数θ最小化数据点和椭圆之间的距离度量：并通过最小化N个数据点上的代数距离平方和用于确定椭圆的大小：3.测量不规则瞳孔的形状。边界IoU(BIoU)可用于对边界质量敏感的图像分割。与平等对待所有像素的MaskIoU相比，BIoU计算的是masked像素在预测和groundtruth之间的边界轮廓一定距离内的IoU。因此，我们使用BIOU来评估距离瞳孔外边界d个像素内的瞳孔掩模像素。其中P代表预测的瞳孔掩模，F代表椭圆瞳孔掩模，参数d是到边界的距离，它控制着测量对边界的灵敏度。左图：预测瞳孔掩膜P和椭圆瞳孔掩膜F；中间：Pd和Fd是距离边界d内的屏蔽像素（蓝色和黄色）；右图：预测的瞳孔掩模和椭圆校正的瞳孔掩模在代码的距离参数d之间的边界IoU计算。此外，当d被放大到足以包含掩模内的所有像素时，BIoU等于掩模IoU。为了使BIoU对边界质量更敏感，可以减小参数d以忽略掩模内的像素。预测的瞳孔掩膜与椭圆瞳孔掩膜之间的BIoU分数范围为[0,1]。数值越大表示瞳孔的边界越接近椭圆的形状，人脸越可能是真实的；否则，它是用GAN模型生成的。结果分析数据集真实人脸图像来自FlickrFaces-HQ(FFHQ)数据集，GAN生成的人脸由StyleGAN2创建。每个类别有1000张图像，分辨率为1024×1024。事实证明，真人的瞳孔是一个清晰的椭圆，这可以通过预测瞳孔掩膜和椭圆瞳孔掩膜之间较高的BIoU分数来反映。然而，不规则瞳孔形状的伪影会导致BIoU分数显着降低。RealhumaneyesGAN-generatedhumaneyes此外，真实人脸和GAN生成的人脸在BIoU分数的分布上存在明显差异。真实人脸和GAN生成的人脸在边界IoU上的得分分布的接受者操作特征（ROC）曲线，对应的AUC（ROC曲线下面积）为0.94。ROC曲线是基于边界IoU的得分，d=4表明不规则瞳孔形状可以有效识别GAN生成的人脸，用于与真实人脸的区分。超参数分析BIoU度量有一个基本参数d，它表示到边界的距离。当d足够大时，BIoU将减少到MaskIoU，从而对边界不那么敏感，这就是AUC分数随着d增加而降低的原因。x轴代表超参数d的变化，y轴是AUCscoreLimitation1。当真实人脸的形状为非椭圆形时，可能会出现误报。示例包括瞳孔和虹膜区域的疾病。由于瞳孔和虹膜区域的疾病和感染导致的异常非椭圆形瞳孔2.瞳孔遮挡或瞳孔分割失败也可能导致错误预测。瞳孔周围的遮挡和噪声以及瞳孔分割的失败总的来说，论文中提出的利用瞳孔进行区分的方法是非常有效的。但是，只有图像的分辨率足够高......
