研究发现，只要一张印好的贴纸就能“骗过”AI系统，让检测系统看不到真人。该研究还可能用于现实世界的视频监控系统，引发热议。贴纸让你对人工智能“隐形”。比利时鲁汶大学(KULeuven)的几位研究人员最近的一项研究发现，借助简单的印刷图案，可以逃避人工智能视频监控系统。研究人员表示，他们设计的图像可以将整个人隐藏在计算机视觉系统之外。这项研究在开源对象识别系统YOLO(v2)上进行了演示。如上图所示，AI系统成功检测到左边的人，而右边的人被忽略了。右边的人身上挂着一块彩色纸板，纸上叫做“对抗性补丁”，正是这个补丁“骗”了AI系统看不到有另一个人在框架中。这种欺骗利用了一种称为对抗性机器学习的方法。大多数计算机视觉系统都依赖于训练（卷积）神经网络来识别不同的事物，方法是向它提供大量样本并调整其参数，直到它可以正确地对对象进行分类。通过将样本输入经过训练的深度神经网络并监控输出，可以推断出哪些类型的图像会混淆系统。他们发表了一篇题为Foolingautomatedsurveillancecameras:adversarialpatchestoattackpersondetection的论文，并发布了生成图像补丁的源代码。地址：https://gitlab.com/EAVISE/adversarial-yolo生成的补丁（patch）可以成功的将人隐藏在检测器的视线之外。例如，它曾被恶意用来绕过监控系统，只要将一小块硬纸板放在身前，面对监控摄像头，就可以不被监控系统发现。研究结果表明，该系统会显着降低人体检测器的准确性。这种方法在实际场景中也很有效。如下demo所示，视频中的人、椅子、桌子等使用YOLOv2检测准确检测出来，但是只要拍了这个“补丁”，系统就无法检测到人。生成一个“魔法补丁”并在几秒钟内变得隐形他们是如何生成这个神奇的“对抗补丁”的？优化目标包括以下三部分：Lnps：non-printabilityscore，该因子表示贴纸中的颜色在多大程度上可以被普通打印机打印。有以下公式：其中ppatch是贴纸中的一个像素，cprint是可打印颜色集合C中的一种颜色。这种损失有利于确保图像中的颜色与可打印颜色集合中的颜色密切相关。Ltv：图像的总变化。这种损失函数loss确保优化器支持具有平滑??颜色过渡的图像并防止图像噪声。Ltv可以从P中计算出来：如果相邻像素相似则得分较低，如果相邻像素不同则得分较高。Lobj：图像中的对象得分。该补丁的目标是隐藏图像中的人物。所以训练的目标是最小化检测器输出的对象或类别分数。总损失函数是通过对这三个部分求和得到的：这三个部分由经验确定的因子α和β缩放，求和，并使用Adam算法进行优化。优化器的目标是总损失L的最小化。优化时冻结网络中的所有权重，只改变patch中的值。在该过程的开始，补丁用随机值初始化。图3显示了对象损失的计算，遵循与计算类概率相同的过程。YOLOv2对象检测器输出一个单元格网格，每个单元格包含一系列锚点（默认为五个）。每个锚点包含边界框的位置、对象概率和类别分数。为了让检测器忽略图像中的人，研究人员尝试了三种不同的方法：最小化类人分类概率（图4d）、最小化对象得分（图4c）或两者的组合（图4b和4a).研究人员分别尝试了每种方法。最小化班级分数往往会将班级中的人转移到不同的班级。在使用在MSCOCO数据集上训练的YOLO检测器进行的实验中，研究人员发现生成的贴纸被检测为COCO数据集中的另一类。图4a和4b分别显示了使用类别和对象概率的示例。研究人员提出的另一种最小化objectnessscore的方法则没有这个问题。尽管在优化过程中它仅位于类别“人”之上，但生成的贴纸不像其他方法那样特定于某个类别，如图4c所示。研究团队对各种类型的补丁进行了实验，例如随机生成的图像噪声或模糊图像，发现经过多次图像处理的随机对象的照片效果很好。例如，他们提出的图像块（图4c）是通过随机选取图像、旋转图像、随机放大和缩小、随机添加随机噪声以及随机修改精度和对比度来创建的。实验结果：警报显着减少，安全摄像头还安全吗？用实验结果评估补丁的有效性。过程与训练过程相同（包括随机变换），将结果应用于Inria测试集进行评估。换句话说，研究人员提出了一个问题：通过使用贴纸触发上表所示的分析结果作为使用不同贴纸的警报，可以规避监控系统产生的警报中有多少。可以清楚地看到，贴纸（OBJ-CLS、OBJ和CLS）显着减少了警报的数量。上图显示了不同贴纸在Inria测试集中的比较示例。YOLOv2检测器首先应用于没有补丁的图像（第1行），然后是随机贴纸（第2行）和生成的贴纸效果（第3行）。在大多数情况下，贴纸能够成功地将人从探测器中隐藏起来。如果它不起作用，贴纸可能与人不对齐。因为在优化时，贴纸的居中对齐仅由图片边框决定。上图测试了印刷贴纸在现实世界中的效果。总的来说，效果还是不错的。由于上面提到的图像训练对齐，将贴纸保持在正确的位置似乎非常重要。由此产生的“补丁”可以应用于衣服、包或其他物体，将使佩戴它们的人隐形——使用AI检测算法无法检测到。此方法也可用于隐藏某些对象。例如，如果监视系统旨在检测物体而不是人，则“补丁”也可以隐藏汽车等物体。可以想象，这个技巧可以让骗子躲避安全摄像头。“我们的工作表明，可以使用对抗性补丁绕过摄像头监控系统，”共同作者WiebeVanRanst说。VanRanst表示，将这种方法应用于现成的视频监控系统应该不会太困难。“目前我们还需要知道正在使用哪个检测器。我们未来想做的是生成一个可以同时在多个检测器上工作的补丁，”他说。“如果这有效，那么这个补丁很有可能也适用于监视系统中使用的检测器。”当然，这个“补丁”目前还不是万无一失的，如果画面中没有清晰可见，或者角度发生变化，AI系统可以快速“发现”画面中的人类。然而，这项研究是学者们尝试使用2D打印来将人类隐藏在检测系统之外的尝试。之前的工作主要是使用特殊镜框的眼镜来欺骗人脸识别软件，或者使用对抗样本来欺骗图像分类系统，比如用一张贴纸让AI把香蕉误认为是烤面包机，用几张贴纸就可以让自动驾驶系统“作弊”进入倒车车道。论文地址：https://arxiv.org/pdf/1904.08653.pdf开源地址：https://gitlab.com/EAVISE/adversarial-yolo
