自动化决策工具在组织中变得越来越普遍。然而，它们背后的一些机器学习(ML)模型——从面部识别系统到在线广告——清楚地表明了种族和性别方面的偏见。随着机器学习模型的广泛采用，需要专业知识来确保更公平的AI。机器学习模型应该消除偏见，而不是加剧歧视。为了构建公平的AI模型，必须首先使用更好的方法来识别AI偏差的原因，因此必须了解AI模型如何学习其输入和输出之间的偏差关系。研究人员已经确定了人工智能中的三种偏见：算法偏见、负面影响和低估。当受保护的特征与用于决策的信息之间存在统计依赖性时，就会出现算法偏差。负面影响是指用于训练AI模型的数据中已经存在的偏差。当AI模型没有足够的数据来得出关于某些人群的可靠结论时，就会出现低估。下面对每个问题进行深入探讨：1.算法偏差算法偏差源于受保护特征与其他因素之间的相关性。当这种情况发生时，不能简单地通过从分析中删除受保护的特征来减少偏差，因为它的相关性可能导致基于非保护因素的有偏见的决策。例如，美国早期的预测性警务算法在进行预测时无法直接访问种族数据，这些模型严重依赖与种族相关的地理数据（例如邮政编码）。这样，对性别和种族等人口统计数据“视而不见”的模型仍然可以根据与受保护属性统计相关的其他特征来判断此信息。致力于确保贷方遵守其公平借贷法的消费者金融保护局发现，一些结合地理和姓氏信息的统计方法可为种族和族裔代理提供更高的准确率。这一发现反驳了一个常见的误解，即如果算法无法访问受保护的数据，偏差将自动减少。一旦确定了根本原因，就可以减轻这种被称为代理歧视的现象。也就是说，可以通过在创建代理函数的模型中定位中间计算，并用与受保护属性不太相关的值替换它们来纠正违规行为。与直觉相反，在某些情况下，从模型训练中删除受保护特征的解决方案实际上可能会伤害已经处于不利地位的群体。例如，在美国司法系统中，美国惩教署和假释委员会使用风险因素清单来做出关于监禁和释放的公正决定。在处理性别、年龄、当前指控以及以前的成年和少年犯人数等基本信息时，人类和人工智能模型的表现相当。然而，通过为人类和AI模型提供10个与教育和物质使用相关的额外风险因素，研究人员发现机器学习模型更加准确且不易产生偏见。这凸显了了解AI模型偏差的根本原因的必要性，而不是盲目地采用补救策略。2.对AI算法产生负面影响的偏差也可能直接来自其训练数据中存在的类似偏差。例如，经过训练以执行语言翻译任务的机器学习模型倾向于将女性名字与“父母”和“婚礼”等属性相关联，而男性名字则与“职业”和“薪水”等词相关联。相关性更强。该模型不太可能自己建立关联。相反，它是在反映这些性别取向的文本材料库上接受训练的。这是一个负面影响的例子。性别偏见是自然语言处理中一个令人不安但经过充分研究的问题：清楚地了解其原因可以提供纠正它的途径。在英语等语言中，名词和形容词往往带有性别偏见，研究人员找到了强制词嵌入保持性别中立的方法。鉴于其他语言具有固有的性别词，可以通过引入打破性别和性别中性词之间因果关系的示例来扩充语言库以防止偏见。在其他应用领域，负面影响可能是最难减轻的偏见之一，因为偏见天生就内置于机器学习模型从中学习的数据集中。因此，该模型可以编码多年来针对人口的系统性偏见。例如，或根据居住地拒绝人们贷款可能会使贷款批准数据集更侧重于白人。这种数据偏差会导致AI模型出现偏差。虽然现有的偏见缓解策略可能会尝试提高黑人申请人的信贷接受率，但这可能会掩盖模型中偏见的真正原因，并使其难以解决根本问题。FICO分数通常用作信用决策的输入，已被证明具有种族歧视。在这种情况下，事后偏差缓解策略的效果不如寻找也与信誉度有因果关系的替代数据源。因此，可以通过寻找替代数据来减轻负面影响。3.低估正如数据可能存在偏差一样，数据也可能存在缺陷。没有足够的数据，机器学习模型可能无法提供可靠的预测。这是一个被低估的问题。亚马逊最近训练了一种机器学习模型，用于在招聘过程中筛选求职者，但与许多其他科技公司一样，其员工中男性比例过高。这种数据不平衡使得其人工智能模型在评估男性时更具权重，亚马逊认识到该模型在推荐候选人时存在偏见，因此将其从招聘渠道中剔除。如果它寻找更多或更好的数据，亚马逊可能能够构建一个公正的招聘工具，但如果不正确理解为什么会出现这种偏见，这是不可能的。然而，在低估的情况下，可以跨人口子组分析模型的预测确定性，从而通过自动添加新实例来实现基础数据集的多样化。衡量模型确定性和稳定性的方法对于了解模型是否准备好对所有人群做出可靠预测至关重要。在低估的情况下，提供的数据集不能充分代表数据的细微差别。然而，用于促进公平或事后偏见缓解策略的对抗性训练技术可能不如扩展数据集那么全面。众所周知，AI算法可以编码并保持偏差，这可能会产生不良后果。虽然这描绘了一个严峻的场景，但重要的是要记住，如果处理得当，算法偏差（与人类偏差不同）最终是可以量化和固定的。准确理解偏见背后的真正原因对于部署安全可靠的AI至关重要，而不是盲目地减少AI偏见。尽管这些原因很复杂，研究人员仍在继续开发更好的方法来衡量特定人群的不同结果，确定导致这些差异的特征，并为特定的偏见来源选择合理的缓解策略。随着越来越多的决策自动化，必须从根本上消除AI偏见，以创建公平公正的模型。
