理解AI决策对研究人员、政策制定者和公众都很重要。幸运的是，有一些方法可以确保我们了解更多。尖端人工智能公司和学术界使用的深度学习模型变得如此复杂，以至于即使是构建模型的研究人员也难以理解正在做出的决策。这一点在锦标赛中表现得最为明显。在此游戏中，数据科学家和专业围棋玩家经常对AI的游戏决策感到困惑，因为它做出的非官方着法并不被认为是最强的着法。为了更好地理解他们构建的模型，AI研究人员开发了三种主要的解释方法。这些是部分解释方法，仅解释特定决策而不是整个模型的决策，考虑到规模，这可能具有挑战性。研究人员正确理解AI决策的三种方法特征归因通过特征归因，AI模型将识别输入的哪些部分对特定决策很重要。对于X射线，研究人员可以看到热图，或者模型认为对他们的决策最重要的单个像素。使用此特征属性解释，可以检查虚假相关性。例如，它会显示水印中的像素点是否突出显示，或者实际肿瘤中的像素点是否突出显示。反事实解释在做决定时，我们可能会对AI做出这个或那个决定的原因感到困惑。由于人工智能被部署在监狱、保险或抵押贷款等高风险环境中，了解人工智能拒绝或上诉的原因应该有助于他们在下次申请时获得批准。反事实解释方法的好处在于，它可以准确地告诉您需要如何更改输入来翻转决策，这具有实际用途。对于那些申请抵押贷款但没有获得抵押贷款的人，此解释将向他们展示他们需要做什么才能达到预期的结果。样本重要性样本重要性解释需要访问模型背后的基础数据。如果研究人员注意到他们认为的错误，他们可以运行样本重要性解释来查看是否向AI提供了它无法计算的数据，从而导致它误判。
