麻省理工学院团队的新测试将人工智能推理与人类思维进行比较现在，在一项新研究中，研究人员揭示了一种新方法，用于比较人工智能软件的推理与人类推理的匹配程度，以便快速分析其行为。随着机器学习越来越多地应用于现实世界，了解它如何得出结论以及它是否正确变得至关重要。例如，AI程序似乎可以准确预测皮肤病变是癌性的，但它可能通过关注临床图像中不相关的印迹来做到这一点。“众所周知，机器学习模型难以理解，”麻省理工学院计算机科学研究人员、人工智能可信度新研究的主要作者AngieBoggust说。“了解模型的决定很容易，但了解模型为什么做出这个决定却如此困难。”文献链接：http://shared-interest.csail.mit.edu/理解AI推理的一个常见策略是检查程序感兴趣的数据的特征——例如图像或句子——以便做出决定。然而，这种所谓的显着性方法通常一次只能对一个决策产生洞察力，并且必须手动检查每个决策。AI软件通常使用数百万个数据实例进行训练，因此几乎不可能分析足够多的决策来识别正确或不正确行为的模式。“为人类用户提供工具来询问和理解他们的机器学习模型对于确保机器学习模型可以安全地部署在现实世界中至关重要。”-AngieBoggust，现在是麻省理工学院和IBM研究院的科学家他们创造了一种方法来收集和检查AI对其决策的解释，从而可以快速分析其行为。这项被称为“共同兴趣”的新技术将人工智能决策的显着性分析与人工注释数据库进行了比较。例如，图像识别程序可能会将图片分类为狗的图片，而显着性方法可能会显示程序突出显示狗的头部和身体的像素以做出决定。相比之下，共享兴趣方法可能会将这些显着性方法的结果与图像数据库进行比较，在该数据库中人们已经注释图片的哪些部分是狗的部分。基于这些比较，共享兴趣方法然后要求计算AI决策与人类推理的一致性，将它们分类为八种模式之一。一方面，人工智能可能被证明完全像人类，程序可以做出正确的预测并突出数据中与人类相同的特征。另一方面，人工智能完全分心了，人工智能做出了错误的预测，没有突出人类所做的任何特征。人工智能决策可能属于的其他模式突出了机器学习模型正确或错误地解释数据细节的方式。例如，共同兴趣可能会发现AI可以仅根据拖拉机的一部分（例如轮胎）正确识别图像中的拖拉机，而不是像人类那样识别整个车辆，或者AI可能只能识别图片中的雪地摩托识别图像中的雪地摩托头盔。在实验中，共同兴趣有助于揭示人工智能程序的工作原理，以及它们是否可靠。例如，SharedInterest可帮助皮肤科医生快速查看程序根据皮肤病变照片对癌症诊断做出正确和错误预测的示例。最终，皮肤科医生决定他不能相信这个程序，因为它根据不相关的细节而不是实际的病变做出了太多的预测。在另一项实验中，机器学习研究人员使用SharedInterest来测试他应用于BeerAdvocate数据集的显着性方法，帮助他分析数以千计的正确和错误决策。共同兴趣有助于表明显着性方法通常表现良好，但也会揭示以前未知的缺陷，例如高估评论中的某些词导致错误预测。“为人类用户提供工具来询问和理解他们的机器学习模型对于确保机器学习模型可以安全地部署在现实世界中至关重要，”博古斯特说。研究人员警告说，共同兴趣的表现与其采用的显着性方法一样好。Boggust指出，每种显着性方法都有其自身的局限性，SharedInterest继承了这一点。未来，科学家们希望将共享兴趣应用于更多类型的数据，例如病历中使用的表格数据。Boggust补充说，另一个潜在的研究领域可能是自动估计AI结果的不确定性。科学家们公开了共同利益的源代码。源码：https://github.com/mitvis/shared-interest相关报道：https://spectrum.ieee.org/-2657216063
