目前，深度学习已经扛起人工智能的大旗，让我们得以一窥未来智能机器的能力。但是深度学习有一个很大的问题：没有人知道它是如何工作的。我们并非不知道深度学习。作为当今神经网络的核心，机器学习算法已经发展了数十年，定义明确且有据可查。在银行业和保险业等受到严格监管的行业中，这些算法已经使用多年，没有造成重大问题。“机器学习基本上是线性数学，而且很容易解释，”数据公司Teradata的首席技术官StephenBrobst在Teradata合作伙伴大会的一个小组中说。“但是，一旦涉及多层神经网络，问题就变成了非线性数学。不同变量之间的关系纠缠在一起。”神经网络的清晰度问题根源于其基本架构，复杂性是与生俱来的。通过将许多隐藏层堆叠在一起，我们实际上为数据在网络中训练时创建了几乎最大数量的路径。然后，通过让数据一遍又一遍地通过这些路径，将每个循环中变量的权重留给机器本身，我们发现我们可以制造更好的机器，提供比传统机器学习方法更好的答案。这是人脑的粗略再现——强调“粗略”是因为我们仍然不完全了解它是如何工作的——但我们知道大脑是工作的，我们知道神经网络是工作的，尽管我们了解的不多关于他们是如何工作的。在某些方面，神经网络的不透明性不是缺陷而是特征。复杂性是深度学习发挥作用的秘诀。这不是一个小范围的研究。金融服务等行业对神经网络垂涎三尺，但目前被禁止使用它们，因为它们无法向监管机构充分解释它们的工作原理。“这是将机器学习应用于风险评估等领域的唯一障碍，这些领域受到严格监管，”布罗布斯特说。“如果它只是欺诈检测和推荐引擎，你可以侥幸逃脱。但不是在监管严格的领域。”这足以让DataRobot在这些领域的客户对像Tensorflow这样的深度学习框架敬而远之，尽管DataRobot会帮助实现它们。自动化使用。“有时，这些模型会因为无法验证而被拒绝，”DataRobot首席运营官ChrisDevaney说。“捍卫它并不容易。如果它不是黑匣子，它的行为就像一个黑匣子，因为你无法记录神经网络算法深处发生的一切。”TensorFlow可以对大数据集做出快速预测，但DataRobot的客户不愿意碰。目前，DataRobot正与Immuta合作寻找并减少机器学习中的偏差。这项工作最终会取得成效，但还有很长的路要走。“对于一些受到严格监管的客户，如果他们不得不在政府机构面前为这种模式辩护，他们不会考虑这个，”他说。研究公司ForresterResearch的高级分析师兼副总裁MikeGualtieri表示，一些公司在一定程度上怀疑使用深度学习。“即使是使用这些模型的公司也不信任它们，”他在最近的一次合作伙伴会议上说。他说，开始使用深度学习的公司有办法应对这种不确定性，包括增加人为干预并制定规则。“该模型可以做出预测——而该预测始终是一个概率——但如果它不正确怎么办？”他说。“你可以用规则来定义它。告诉它‘这是欺诈’，模型可能会说：‘这不是欺诈。’您还可以制定有利于人类的规则，例如，“我不在乎模型说什么——在我看来，那是欺诈。”在提高神经网络的透明度方面已经做了一些工作。其中之一称为“模型不可知论解释；简称LIME”框架，由华盛顿大学计算机科学教授马可·图里奥·里贝罗（MarcoTulioRibeiro））及其同事SameerSingh和CarlosGuestrin开发。LIME框架旨在提高可理解性，使各种不透明算法生成的预测更易于解释。这包括传统的机器学习技术，例如随机森林和支持向量机(SVM)，以及当今日益流行的神经网络技术。作为GitHub上的开源软件，LIME框架有望层层剥去神经网络的外衣。“LIME是一种高效的工具，可以让机器学习从业者产生信任感，可以添加到他们的工具组合中，”Ribeiro、Singer和Gerstling教授在2016年发表在计算机信息网站Ole的O'Reilly文章中。然而，LIME在获得业界信任之前还有很多工作要做。Teradata的Brobst说。“上面提到的LIME框架，我们还没有完成，”他说。“这是一个活跃的研究领域……但我称之为‘研究生代码’。它的用例非常有限。特殊用例需要定制。”
