当前位置: 首页 > 科技观察

什么是机器学习治理?

时间:2023-03-14 13:35:52 科技观察

为什么组织在机器学习治理方面苦苦挣扎?当我们为组织处理机器学习治理时,我们看到我们的客户面临五个主要挑战。机器学习模型治理是组织如何控制访问、实施策略和跟踪模型活动的整个过程。这对于降低模型故障、合规性和攻击的风险是必要的。治理是将组织底线和品牌风险降至最低的基础。具有有效机器学习治理的组织不仅可以对模型在生产中的运行方式进行细粒度控制和可见性,而且可以通过将AI/ML治理策略与其余IT策略集成来提高运营效率。治理使组织能够了解可能影响模型结果的所有变量,帮助他们快速识别和缓解可能降低结果准确性和应用程序性能的问题(例如模型漂移)。随着时间的推移,这些问题会直接影响企业的底线,并逐渐削弱客户对品牌的信任。机器学习治理白皮书中提到了管理AI治理的7步框架。首先,我们需要知道为什么组织要加大机器学习治理的力度?机器学习治理是组织在2021年面临的最大挑战,因为他们竞相扩展机器学习能力以在快速发展的数字市场中保持竞争力。(来源:2021年企业机器学习趋势报告)在我们的客户为其组织解决机器学习治理问题时,我们看到了五个主要挑战。不清楚什么是最佳实践:我们仍处于机器学习治理的早期阶段,组织缺乏在其特定环境中有效实施的明确路线图或规范性建议。法规不完善:不断变化和模棱两可的监管环境会带来不确定性,并要求公司投入大量资源来保持合规性。跟不上步伐的公司可能会失去竞争优势。现有解决方案是手动且不完整的:即使是当今实施治理的组织也使用不同工具和手动流程的拼凑。此类解决方案不仅需要持续维护,而且还存在覆盖范围方面的严重差距。机器学习不容易集成到现有的IT战略中:有效的机器学习治理需要与IT协作,但大多数组织仍然将机器学习视为精品计划,因此很难集成到更标准化的企业IT流程和技术堆栈中。机器学习管理不善会使公司资产面临风险:实施机器学习的公司面临品牌和利润风险。这些有偏见或被误解的模型会削弱客户对品牌的信任,而不受监控的模型可能会在生产中失败。组织应采取哪些步骤来改进机器学习治理?组织应该实施可以解决上述机器学习治理挑战的MLOps平台。否则,组织必须拼凑起来并维护自己的解决方案。无论哪种方式,您都希望确保可以支持以下7个关键层:完整的模型目录,包括模型风险文档、用于训练和预测模型的数据源的描述,以及模型输出的目的地和用途.基于风险梯度的灵活模型风险管理框架:高风险模型得到更多验证、测试和监控,而低风险模型更易于访问,将更多责任委托给业务部门或模型开发人员;拥有将模型部署和集成到遗留系统和数据架构中的有效流程IT拥有用于操作、管理和监控生产中模型健康状况的工具,让模型开发人员脱离模型操作,监控模型准确性和数据一致性生成警报的主动工具如果模型结果或输入数据出现偏差或输入数据的质量下降;集成模型和数据变更管理流程,以便对数据或模型的变更进行适当的测试和沟通,以防止不可预见的事件发生;标准审计报告和日志,以便审查人员和审计人员可以审查模型结果、变更历史、数据错误或过去的模型故障以及所采取措施的记录。