今天，商业组织越来越依赖人工智能和机器学习模型来做出可以说影响到我们生活方方面面的决策，例如，银行使用人工智能来决定是否向客户提供信贷以及信贷额度;医学放射科部署人工智能来帮助区分健康组织和肿瘤；人力资源团队使用人工智能从海量简历中筛选出合适的候选人。2019年，欧盟发布的《人工智能道德准则》明确提出人工智能的发展方向应该是“可信赖的”，可以包括安全性、隐私性、透明性、可解释性等多个方面。但随着人工智能技术的不断普及，由此带来的风险也随之浮出水面，主要体现在两个方面：信任危机，即对人工智能算法输出结果的信任和依赖能力。道德危机，Deepfake技术的出现不仅带来了新鲜感，也引发了人们对深度学习和人工智能技术滥用的担忧。“黑盒”人工智能今天的机器学习模型大多是“黑盒”，因为今天的许多机器学习应用程序不允许人类完全理解它们的功能或背后的逻辑，以达到一种被称为“黑盒”的效果。“黑盒子”。这一特点被认为是人工智能技术应用中最大的问题之一。它使机器决策变得不透明，甚至专家或开发人员自己也常常难以理解。这也降低了企业对特定领域机器学习和人工智能的信任。感觉。【黑盒AI与XAI】可以说，传统的“黑盒”人工智能程序存在以下问题：难以验证输出是否“正确”；偏见和不公正。因此，了解AI算法预测背后的原因至关重要，不仅可以增加对AI算法的信心，还可以提供对模型的洞察力或允许对开发的算法执行调试过程。公众对了解这些算法背后的过程越来越感兴趣的原因之一是，随着各种国际法（例如EUGPDR）的引入，公众对隐私的敏感度提高，这些法律对隐私施加了高水平的保护。过程中更大的透明度，这是人工智能算法目前正在努力实现的目标。所有这些都转化为对人工智能算法透明度的日益增长的需求。人工智能背景下对透明度的需求进一步推动了所谓的“可解释”人工智能(XAI)的发展，它代表了一组能够理解和呈现机器学习模型和人工智能算法的透明愿景的技术。什么是“可解释的”人工智能？“可解释”人工智能并不是一个新的研究领域，它是一种支持复杂人工智能系统的推理架构，自上世纪80年代就已经存在，可以看作是人工智能设计的自然结果。人工智能的未来可能取决于它让人们与机器合作解决复杂问题的能力。与任何有效的协作一样，这需要良好的沟通、信任和理解，而可解释的人工智能旨在应对这些挑战。简单来说，可解释的AI是一组工具和技术，组织可以使用这些工具和技术帮助人们更好地理解模型为何做出某些决策以及它们如何工作。XAI是：一组最佳实践：它利用数据科学家多年来一直使用的一些最佳程序和规则来帮助其他人了解模型是在哪些数据上训练的，并且还揭示了模型可能暴露的偏见来源到;一套设计原则：研究人员越来越关注简化人工智能系统的构建，使它们在本质上更容易理解；工具集：随着系统变得更容易理解，可以通过合并这些知识进一步完善训练模型，并通过让其他人可以使用这些知识将其合并到他们的模型中。为什么XAI很重要？对于组织而言，通过模型监控和AI问责制获得对AI决策过程的全面可见性而不是盲目信任它们至关重要。可解释的人工智能可以帮助人类理解和解释机器学习(ML)算法、深度学习和神经网络。ML模型通常被认为是无法解释的黑匣子；深度学习中使用的神经网络是人类最难理解的部分；偏见（通常基于种族、性别、年龄或地点）一直是训练AI模型的长期风险。此外，由于生产数据与训练数据不同，AI模型性能可能会受到影响甚至降级。这使得持续监控和管理模型以促进AI可解释性变得至关重要。可解释的AI有助于提升最终用户的信任度、模型的可审计性和AI的高效使用，同时还可以降低使用AI所面临的合规、法律、安全和声誉风险。此外，借助可解释的AI，企业可以排除故障并提高模型性能，同时帮助利益相关者了解AI模型的行为。其优势可概括为：简化模型评估过程，同时提高模型透明度和可追溯性；系统地监控和管理模型以优化业务成果，持续评估和改进模型性能；加快获得AI结果的时间；降低模型治理的风险和成本；可解释的人工智能是实现“负责任的”人工智能的关键要求之一，具有公平性、模型可解释性和问责制。为了负责任地采用AI，组织需要通过构建基于信任和透明的AI系统，将道德原则嵌入到AI应用程序和流程中。XAI的应用示例如今，可解释的人工智能正在改变各个垂直市场的游戏规则：医疗保健：加速诊断、图像分析和资源优化，提高患者护理决策的透明度和可追溯性，同时还简化药品审批流程。金融服务：通过透明的贷款和信贷审批流程改善客户体验，加快信用风险、财富管理和金融犯罪风险评估，加快解决潜在投诉和问题，并提高对定价、产品推荐和投资服务的信任度。刑事司法：优化预测和风险评估过程。在DNA分析、监狱人口分析、欺诈检测和犯罪预测中使用可解释的AI加速解决问题。检测训练数据和算法中的潜在偏差。可解释人工智能的五个注意事项：公平和去偏见：管理和监控公平，扫描用户部署以寻找潜在的偏见；模型漂移缓解：分析模型并根据最合乎逻辑的结果提出建议。当模型偏离预期结果时发出警报；模型风险管理：量化和降低模型风险。当模型表现不佳时发送警报。了解偏见持续存在时会发生什么；生命周期自动化：构建、运行和管理模型作为集成数据和AI服务的一部分。统一平台上的工具和流程来监控模型和共享结果，解释机器学习模型依赖关系；多云就绪：跨混合云部署AI项目，包括公共云、私有云和本地。通过可解释的AI培养信任和信心。当今时代，人们迫切需要可解释的人工智能，而“负责任”、“可解释”的人工智能确实会成为获取双方信任、满足未来合规要求的基石，但若要实现这一目标，无疑，道路艰难而漫长。【本文为专栏作者“安安牛”原创文章，转载请通过安安牛（微信公众号id：gooann-sectv）获得授权】点此阅读更多作者好文
