当前位置: 首页 > 科技观察

选择性风险可以提高AI的公平性和准确性

时间:2023-03-20 01:41:31 科技观察

选择性风险可以提高AI的公平性和准确性降低模型在数据集中代表性不足的人群的整体性能。这些代表性不足的群体通常是女性和有色人种,对他们的忽视导致了一些关于AI种族主义和性别歧视的报道。一种说法是,用于风险评估的人工智能错误标记黑人囚犯的频率是白人囚犯的两倍。在另一个案例中,没有任何背景的男性照片被识别为医生和家庭主妇的比例高于女性。通过选择性回归,人工智能模型可以为每个输入做出两个选择:预测或弃权。该模型只有在对决策有信心时才会做出预测,并且经过多次测试,通过排除无法正确评估的输入来提高模型的性能。但是,当删除输入时,它会放大数据集中已经存在的偏差。一旦在现实生活中部署AI模型,这会导致代表性不足的群体进一步不准确,因为它无法像在开发过程中那样移除或拒绝代表性不足的群体。最终,您要确保以合理的方式考虑跨组的错误率,而不是仅仅将模型的某些广泛错误率降至最低。麻省理工学院的研究人员还引入了一种新技术,旨在提高模型在每个子组中的表现。这种技术被称为单调选择性风险,其中一个模型不弃权,而是包括种族和性别等敏感属性,而另一个模型则不弃权。同时,两个模型都做出决策,没有敏感数据的模型被用作数据集中偏差的校准。为这个特定问题提出正确的公平概念具有挑战性。但是通过执行这个标准,单调选择风险,我们可以确保当覆盖率降低时,模型性能实际上在所有子组中都变得更好。当使用Medicare和Crime数据集进行测试时,新技术能够降低代表性不足群体的错误率,而不会显着影响模型的整体性能。研究人员打算将该技术应用于新的应用,例如房价、学生平均成绩和贷款利率,看看它是否可以用于其他任务。