许多与新型冠状病毒作斗争的国家要求公民在火车站或机场进行体温检测。这种情况下所需的设备：手持式温度计已从专用设备变为普通设备。“计算机视觉”是人工智能的一个分支，专注于自动标记图像。大多数计算机视觉系统都是使用包含极少数手持温度计图像的数据集进行训练的。因此，他们无法正确标记此类设备。在Twitter上疯传的一项实验中，非营利研究和倡导组织AlgorithmWatch证明，计算机视觉服务GoogleVisionCloud将拿着温度计的深色皮肤人的图像标记为“枪支”，而将浅肤色人的类似图像标记为“电子枪”设备”。随后的实验表明，一张拿着温度计的深色皮肤手的图像被标记为“枪”，而同样的手上覆盖着浅橙色图案的图像足以让计算机将其标记为“单眼”。4月3日，添加叠加层后，GoogleVisionCloud生成了完全不同的标签。谷歌此后更新了算法。自4月6日起，它不再返回“枪支”选项卡。谷歌产品战略和运营主管特雷西弗雷在一份声明中写道：“这一结果是不可接受的。重要的是要认识到这一结果与种族主义之间的联系；我们对这可能造成的任何伤害表示歉意。我们深表歉意。”Frey女士说：“我们的调查发现，一些物品被错误地标记为枪支；这些结果存在于各种肤色中。准确归还标签。”她补充说，谷歌发现“没有证据表明与肤色有关的系统性偏见。”专注于自动化系统偏差的荷兰代尔夫特理工大学博士生AgatheBalayn对此表示赞同。她在谷歌的服务中测试了几张图片，得出的结论是这些示例很可能是“没有统计偏差的不准确示例””她写道，在没有更严格的测试的情况下，不能说该系统存在。偏见。4月6日，更新了针对深色皮肤手的结果背景调查不难理解为什么计算机视觉可以产生不同的结果根据肤色。这样的系统处理数以百万计的图像，这些图像是人类煞费苦心地标记的（比如，当你点击一个里面有汽车或桥梁的盒子来证明你不是机器人时你做了什么）并从中得出自动推论。计算机视觉无法识别人类感知中的任何物体。它依赖于训练数据中的相关模式。研究表明，一旦在白雪皑皑的背景下拍照，计算机视觉就会将狗标记为狼。如果奶牛站在沙滩上，它们就会被标记为狗。由于深色皮肤的人可能更频繁地出现在训练数据集中描绘暴力的场景中，因此自动推断深色皮肤手图像的计算机更有可能用暴力术语标记它们。类似的偏见也出现在其他计算机视觉系统中。去年12月，Facebook拒绝让巴西的Instagram用户为一张图片做广告，因为它包含武器。事实上，那张照片是男孩和一级方程式车手刘易斯·汉密尔顿的照片。两人的肤色都很黑。实际影响标记错误可能会产生现实影响。在美国，许多学校、音乐厅、公寓大楼和超市都在使用武器识别工具，纽约大学AINow研究所的技术研究员、计算机视觉专家黛博拉·拉吉(DeborahRaji)在一封电子邮件中写道。在欧洲，一些警察部署的自动监控设备也可能使用计算机视觉技术。由于这些系统中的大多数都类似于GoogleVisionCloud，“它们很可能具有相同的偏见，”Raji女士写道。因此，皮肤较黑的人更有可能被标记为危险，即使他们拿着像手持温度计这样无害的东西。的东西。专注于包容性的技术专家社区FrauenLoop的创始人兼首席执行官NakeemaStefflbauer在一封电子邮件中写道，计算机视觉软件的偏见“绝对”会影响肤色较深的人的生活。她补充说，由于历史上女性和深色皮肤人群的错误识别率更高，因此用于监视的计算机视觉的扩散将对他们产生不成比例的影响。Stefflbauer女士举了两个例子，OusmaneBah和AmaraK.Majeed两个例子，OusmaneBah是一名因面部识别系统错误而被错误指控在Apple商店偷窃的青少年，而AmaraK.Majeed在她的面部被错误识别后被错误指控。参与了2019年斯里兰卡爆炸案。Stefflbauer预测，如果没有有效的监管，整个人群最终将避开某些建筑物或社区。她补充说，如果有偏见的计算机视觉得到更广泛的部署，个人的行为可能会面临事实上的限制。渐进式变革谷歌董事弗雷女士在声明中写道，公平是谷歌的“核心人工智能原则”之一，谷歌“致力于在机器学习的发展中取得进步，公平是机器学习成功的关键衡量标准”学习。”。但谷歌的图像识别工具之前曾返回过带有种族偏见的结果。2015年，谷歌相册将两个黑皮肤的人标记为“大猩猩”。谷歌后来道歉，但据《连线》杂志报道，谷歌没有解决这个问题。相反，它只是停止返回“大猩猩”标签，即使是该哺乳动物的图像也是如此。根据AINowInstitute的DeborahRaji的说法，科技公司仍在开发带有种族偏见的产品，而造成这种情况至少有两个原因。首先，他们的团队主要是白人和男性，这使得在开发阶段不太可能发现和解决对其他群体的歧视。其次，“许多公司现在才开始开发正式流程来测试和报告这些系统设计中的此类故障，”她写道。“外部问责制是目前提醒这些工程团队的主要方法，”她补充道。“不幸的是，当有人抱怨时，许多人可能已经受到有偏见的模型的不成比例的影响。”
