人工智能并不是那么可靠：系统“不知道它不知道”，算法不是安全领域。得益于神经网络的“深度”改造，以算法加持的海量数据和计算能力处理复杂数据成为常态。这在以往是不可想象的，背后是人工智能技术高速发展的必然结果。目前，当人脸识别、自动驾驶、智能家居等各种人工智能应用场景落地到日常生活中时，从消费者的角度来看，人工智能让生活变得更美好了，但这项技术是否足够强大？什么？学术界的回答恰恰相反——目前的人工智能技术在安全性和可靠性方面其实还不够！人工智能不是那么可靠。在近日举办的首届“青年科学家502论坛”上，清华大学朱军教授给飞速发展的人工智能产业泼了一盆冷水：如今的人工智能还远非完美。首先，深度学习仍然面临鲁棒性差的问题。例如，很多手机都配备了人脸识别方案，但通过一副印有特殊纹理图案的眼镜，很多手机都可以轻松解锁；对于驾驶系统，黑客只需要在标志上添加特定的图案，就可以让系统将限速标志识别为停车标志，从而导致致命事故……这些似乎都非常符合人们的直觉或常见问题，放在一个非常智能的系统面前，就会出现错误的结果。其背后的原因是什么？“这里的一个关键问题是，目前的人工智能技术‘不知道它不知道’。”朱军说，人类可以遵循“知之为知，不知为知”的原则。大多数主流技术都缺乏这种能力。比如把一张人工智能不认识的苹果的照片放在一个很多猫狗照片的对比系统中，让人工智能分析它是什么，答案是猫还是狗，只取决于这。哪张苹果图片更像猫或狗。无需怀疑人工智能的学习能力，但它确实缺乏“知其不知”的能力。学术界认为，如果一个人工智能系统知道它“不知道”，实际上意味着它具有更高的智能水平。“具体来说，现实世界中有两种不确定性会影响人工智能的认知。一种是更直观的环境和数据的不确定性导致的信息收集不完整；另一种是更抽象的信息并且更难感知。这种模型的不确定性使得大数据的模型变得模棱两可，这样人工智能在训练的时候可能表现的很好，但是在测试的时候就会发现性能差距非常大。”朱军说，目前的解决方案是更深入地研究贝叶斯智能理论，解决如何量化客观地计算这种不确定性并得到最优结果。推动贝叶斯智能理论研究的深入，需要产学研界的共同努力。安全是一道必须跨越的鸿沟。人工智能的概念最早可以追溯到1956年的达特茅斯会议，但直到最近十年，这个领域才真正深刻地改变了大众的生活，甚至征服了各个人类世界的顶端。挑战，例如击败顶级围棋选手、预测蛋白质结构、击败人类飞行员等等。但目前，当前的人工智能技术不仅在可靠性方面存在较大问题，在安全性和可信性方面也进入了瓶颈期。8月3日，在首届全球数字经济大会人工智能产业治理主题论坛上，中国科学院院士张博发表观点：当前人工智能安全治理迫在眉睫。随着技术潜入“深水区”，研究发现人工智能的算法存在一些根本性问题，本质上是不安全的，容易受到攻击。“人工智能技术面临的安全问题非常特殊，问题不在于设计，而是算法本身的不安全。这种算法的不安全是由第二代人工智能造成的。”“学术界已经开始思考关于技术发展的下一步，新一代人工智能的发展路径是融合第一代知识驱动和第二代数据驱动的人工智能，同时利用知识、数据、算法和计算能力.等四大要素，建立新的可解释、稳健的人工智能理论和方法，发展安全、可信、可靠、可扩展的人工智能技术。”朱军表示，“安全可靠”是第三代人工智能的核心。核心发展目标逐渐成为共识，数据和算法安全成为学术界和业界人士关注的研究课题之一。
