前不久，被爆出某知名品牌汽车的自动驾驶系统无法识别白色卡车货箱等类似于“墙”的障碍物。
在自动驾驶中，如果驾驶员或车辆遗漏或未能及时检测到，可能会导致交通事故。
此外，安防漏检危险物品和物体也可能导致安全隐患。
这些风险都表明AI视觉的安全性值得关注。
在研究AI视觉稳定性的过程中，阿里巴巴安全图灵实验室研究员札奇发现AI视觉仍然存在盲点：利用算法自动识别图片中的关键信息并巧妙删除，就像“编码”一样图片。
“这样，AI视觉系统将无法识别图像。
最近，这项研究成果被人工智能顶级会议ICCV收录。
札奇的研究来自于他逛商场时看到乐高玩具时的灵感。
”当时她就有一个疑问：“人眼如何识别‘马赛克’式的玩具？还有早期的超级马里奥。
虽然它只是由几个简单的像素组成，但人们却能够正确识别这种抽象的表达方式。
AI模型面临“马赛克式图像能否正确识别？”札奇证实。
她发现，传统的对图像进行“处理”欺骗AI的方法是在图像上添加“噪声”，相当于在当前图像上为模型“乱涂乱画”，让AI无法识别，但关键对原始图像本身来说信息并没有丢失，只要用“橡皮擦”擦掉，AI依然能识别出来。
如果进行相反的操作，删除图片的关键信息，就如同做了“马赛克”一样。
图片的关键信息已经丢失，无论如何AI都很难识别。
这意味着很难有针对“编码攻击”的防御措施。
如下图所示，给猫图片添加了噪点。
去除噪音后，AI模型仍然可以识别出它是一只猫。
相反，基于信息丢失的对抗性攻击在去噪操作下基本没有变化，AI视觉模型“无法识别”。
说明：对比传统的添加噪声（上）和“编码”删除信息（下），“编码”攻击“无法恢复”。
专注研究AI对抗样本和模型安全性的阿里安全高级算法专家岳峰提醒，除了AI视觉场景外，此类对抗攻击也可能存在于真实场景中。
例如，针对某知名PS软件，只要提供对抗性攻击能力的JPEG量化表，就可以产生“令人反感”的图片。
此外，在实际场景中，图像信息丢失是一种普遍现象。
例如，如果用户将JPEG格式的图像上传到互联网，就会存在一定的信息丢失，这可能会无意中创建“对抗性样本”。
岳峰认为，这对于当前内容安全场景下的AI识别来说是一个很大的挑战。
“比如，如果有人将涉黄、涉赌、涉毒的图片上传到网上，部分信息丢失，人眼还能理解其含义，但人工智能却无法正确识别。
这是为了构建一个清朗、健康的网络环境的一种对抗。
岳峰举了一个例子。
AI安防行业应对此类对抗保持警惕。
当然，“致盲人工智能”并不是研究人员的目标。
研究人员最终希望发现人工智能模型的漏洞，进一步提高人工智能的安全性。
“探索人工智能安全前沿技术，一是让人工智能更安全，二是让人工智能辅助安全，三是找到提高解决特定社会问题效率的新途径。
”阿里安全图灵实验室负责人薛辉提醒，不能“事后补”，而应该把安全放在第一位，从源头把好安全关，对前沿技术进行研究和布局，打造最好的网络安全。
技术创新。