当前位置: 首页 > 科技观察

如何发现和防止AI偏见?

时间:2023-03-14 23:55:01 科技观察

【.com速译】任何AI应用的成功与训练数据息息相关。您不仅需要正确的数据质量和正确的数据量,还需要主动确保您的AI工程师不会将他们自己的潜在偏见传递给他们开发的产品。如果工程师允许他们自己的世界观和先入之见影响数据集——也许提供仅限于特定人口统计或焦点的数据——依赖AI解决问题的应用系统将同样有偏见、不准确且用处不大。简而言之,我们必须不断检测并消除人工智能应用中的人为偏见,以便这项技术发挥其潜力。我预测,随着人工智能继续从一项相对较新的技术迅速转变为一项完全无处不在的技术,偏见审查只会增加。但必须克服人为偏见才能真正实现这一目标。Gartner2018年的一份报告预测,到2030年,85%的人工智能项目将因数据或算法中内置的偏见或管理这些部署的团队中的偏见而提供错误结果。赌注很高;错误的AI可能会导致严重的声誉损害,并对根据AI提供的错误结论做出决策的企业造成灾难性后果。识别AI偏见AI偏见有多种形式。源自开发人员的认知偏差会影响机器学习模型和训练数据集。实际上,偏差已融入算法中。不完整的数据本身可能存在偏差——尤其是当信息因认知偏差而被忽视时。当没有偏见地训练和开发的人工智能投入使用时,其结果可能仍会受到部署偏见的影响。聚合偏差是另一种风险,当为AI项目做出的小选择对结果的完整性产生巨大的集体影响时,就会出现这种风险。简而言之,任何AI过程中都有许多固有的步骤可能会引入偏差。检测和消除AI偏见为了实现可靠的依赖AI的应用程序,在无数用例(和用户)中始终如一地提供准确的输出,组织需要有效的框架、工具包、流程和策略来识别和积极减少AI偏见。可用的开源工具有助于测试AI应用程序,以查看数据中是否存在特定的偏差、问题和盲点。人工智能框架。旨在保护组织免受人工智能偏见风险的框架可以引入制衡机制,最大限度地减少整个应用程序开发和部署过程中的不当影响。这些框架可用于自动衡量可信的公正做法并将其构建到产品中。以下是几个示例:劳斯莱斯的Aletheia框架提供了一个32步的流程,用于设计准确且精心管理的AI应用系统。德勤的人工智能框架强调了实施人工智能防御和道德实践的六个基本维度。NaveenJoshi的框架详细介绍了开发可信赖人工智能的核心实践。它侧重于对可解释性、机器学习完整性、深思熟虑的开发、可重复性和智能监管的需求。工具包。组织还应该利用可用的工具包来识别和消除机器学习模型中的偏见,并识别机器学习管道中的偏见模式。以下是一些特别有用的工具包:IBM的AIFairness360是一个可扩展的开源工具包,用于检查、报告和减少机器学习模型中的歧视和偏见。IBMWatsonOpenScale提供实时偏差检测和缓解,并支持详细的可解释性,使AI预测可信且透明。Google的What-If工具提供机器学习模型行为的可视化,以便可以根据机器学习公平性指标轻松测试经过训练的模型以捕捉偏差。流程和政策。组织可能需要引入专门设计的新流程,以消除AI的偏见并增加对AI系统的信任。这些流程定义了偏差指标,并根据这些标准定期彻底检查数据。政策应该发挥类似的作用,建立需要严格实践和谨慎行动的治理机制,以尽量减少偏见和解决盲点。请记住:AI信任是一个商业机会采取措施减少AI系统中的偏见的组织可以将这种潜在的危机转化为竞争差异化的机会。提倡反偏见措施可以让客户对人工智能应用系统更有信心和信任,从而使组织脱颖而出。今天尤其如此,随着AI遍地开花更是如此。在追求公正的AI过程中确保透明度对企业有利。先进的新AI算法正在将AI带入新领域——从合成数据生成到迁移学习、强化学习、生成网络和神经网络等等。这些令人兴奋的新应用中的每一个都将有其自身的偏差效应敏感性,必须在这些技术蓬勃发展之前解决这些偏差效应。就AI偏见而言,错的不是AI,而是我们自己。应采取所有可用措施消除AI中的人为偏见,使组织能够开发更准确、更有效且对客户更具吸引力的应用程序。原标题:人工智能偏见很普遍但可以预防——这是根除它的方法,作者:ShomronJacob,Iterate.ai