AI算法偏见（性别、种族……）在海外已经不是什么新鲜事了。前不久，网上一段视频引发舆论。大规模讨论。一位年轻的微软研究员就此话题在个人网络留言中就人脸识别系统模型的偏差展开了讨论，引起了包括JeffDean等大牛的共鸣。她到底说了什么？这一切都始于互联网上的一段视频，社会党众议员亚历山大·奥卡西奥-科尔特斯在视频中声称，由数学驱动的算法本质上是种族主义的。这篇帖子很快得到了公众的回应，其中包括一位名叫安娜·罗斯(AnnaS.Roth)的研究员。目前原帖转发量已达2.8k，评论7200余条。直通车：https://twitter.com/RealSaavedra/status/1087627739861897216根据个人主页介绍，AnnaS.Roth是微软技术与研究部的研究员，致力于微软的ProjectOxford项目——这是一个hybridWithAPIs和借助SDK，开发人员可以轻松地重新创建利用MicrosoftResearch和Bing在计算机视觉、语音检测和语言理解方面的前沿工作的项目。此外，她还入选了《商业内幕》杂志的“30位30岁以下科技界有影响力的女性”名单。她在个人留言中连续发表了多达29条短评，简要总结了人脸识别系统模型存在偏差的原因，以及相应的解决方案和存在的困难。由于内容通俗易懂，切中要害，GoogleBrain的负责人JeffDean忍不住推荐。我们分别看看AnnaS.Roth是怎么说的。AlexandriaOcasio-Cortez关于数据偏差的说法是完全正确的。在从事面部识别的商业开发（有点偏离，开发有偏见的模型）之后，我认为人们最终会找到一些具体而可信的例子来说明人工智能系统是如何产生偏见的。网络专家解释了为什么面部识别系统会因为数据倾斜而出现偏差。所以我要和你谈谈：（1）那些（有偏见的）数据是从哪里来的。(2)偏差测量的选择也很关键。（需要强调的是，我是笼统的说行业内发生的事情，不是我雇主的具体事例。总之，这些是我的个人观点，不代表雇主立场。）最前沿面部识别系统需要在“非常大”的数据集上进行训练。为了达到训练效果，需要获取同一个人的多张照片。例如，当前发布的数据集之一，来自UW的MF2，有672K个人信息和4.7M照片。相关论文链接：https://homes.cs.washington.edu/~kemelmi/ms.pdf这些数据主要来源于网络，例如MF2数据集的数据来源于Flickr；另一个数据集MS-Celeb-1M(https://www.msceleb.org)的1000万张图像是从互联网上“抓取”的。需要强调的是，“在公共网络上流传的照片”并不能完全代表“世界上所有的人类”。然而，全球互联网流量分布不均。甚至研究人员。您可能正在以英语为媒介抓取这些网络资源/视频（请记住，您需要获取同一个人的多张照片。）所以我的问题是，谁在使用Flickr？在MicrosoftCelebrityDatasetMSCeleb的论文中，显示数据集中100万名名人中超过3/4是女性——所以在判断哪个性别群体在网上更出名时，会不会落入AlexandriaOcasio-Cortez的so-所谓的“自动化假设”陷阱？对此，负责构建数据集的人一般会通过各种手段进行调整。一个很“烧钱”的选择，就是进入“现实世界”，通过付费的方式收集数据。但是，要做到“正确”（比如数据从哪里收集）和“合乎道德”（比如是否征得对方的同意、公平的补偿等），做这件事情并不容易。然而，这些细节可能导致结果出现“巨大”差异。当然我们也可以有其他数据源。例如，有些人想到了使用嫌疑人的照片（耶！另一个影响数据集+注释的根深蒂固的社会偏见的例子）。据我所知，非美国监控州的一家国内公司可以访问那些大型政府数据集。（显然，如果你是FB，你还可以访问分布更好的数据。）数据集不仅仅是你存储数据的地方+标记它。许多数据集需要人工进一步手动注释，通常是通过众包（即在线平台零碎地向众包者支付费用，通常是少量）。以众包的形式，人类有太多分散注意力的因素。例如，众包商的文化背景？他们是否被问到实际上是主观的问题？（年龄、情绪等）我们今天就数据偏差测量达成一致的一件事是，有偏差的数据输入会导致有偏差的模型。事实上，我们已经有很多很酷的技术方法来解决训练数据分布问题。一般来说，要评估模型的偏差和性能，您需要找到衡量它的方法。否则无法知道模型偏差的原因和程度。例如，您可能想要创建一个包含具有各种特征的人员的标记数据集，以便您可以测试您的模型在组和子组上的效果。衡量偏见需要整合这些人的观点和观点——他们可能会在社会科学层面受到模型的影响——在哪些问题上很重要。比如“如果你戴眼镜，会导致模型表现不准确”比“如果你是有色人种，会导致模型表现不佳”，这有一定的社会原因。在构建相关系统时，确定需要测量的内容、构建测量数据集并发布相关标准是“明智”的选择。因此，当亚历山大·奥卡西奥-科尔特斯(AlexandriaOcasio-Cortez)说“模型正在传达种族不公正，因为算法仍在人类手中”时，她是绝对正确的。这样做的可怕后果在过去和现在都被一次又一次地记录下来。有关详细信息，请参阅：http://gendershades.org/。它为致力于这些问题的不同人群提供了强有力的理由。（注：这也意味着国际化和多元化，例如计算机视觉领域的大部分工作都是在中国创造和消费的，因此这些话题具有国际视野。）相关解决方案回到AlexandriaOcasio-Cortez发起的讨论.她给我们的启示之一是，人工智能伦理不仅仅是“减少偏见的技术方法”或“应用伦理学”。而是偏差渗入了模型，或者模型使用不当，或者循环反馈机制强化了偏差，因为这些原因交织在一起产生了新的问题。我经常想起在《大西洋》杂志上关于德国执法部门调查庇护申请的报道中出现的这句话。当这些概率系统的用户最终将系统的性能归因于“天赐之物”而不是人类时会发生什么？文章链接：https://www.theatlantic.com/magazine/archive/2018/04/the-refugee-detectives/554090/“BAMF的面部识别软件和它绘制的庞大数据库现在看起来就像是‘天赐之物’，”说一名员工恭敬地。“我从未见过它出错。”我试图举一些实际的例子来说明涉及面部识别功能会导致什么样的严重后果，以帮助大家了解这个视频的背景。然而，这些想法实际上来自学术界和公众的倡导。“现在”这个领域正在产生“如此之多”的奖学金，这是那些有见地的想法的源泉。我们很幸运能够向@timnitGebru、@jovialjoy、@hannawallach、@mathbabedotorg、@jennwvaughan等专家学习。也有很多学者和社会活动家正在就如何记录、理解和减少偏见对人工智能的影响，进而减少人工智能对社会的负面影响提出自己的想法。我们可以在http://gendershades.org/等地方找到这些想法（对行业实践和公众意识产生巨大影响），在这里https://fatconference.org/index.html我将使用这些词作为让我们结束评论。作为长期从事面部识别研究的人，我非常感谢该领域的专家，他们的功劳包括发现我当时正在研究的系统中的严重问题（并创造性地修复）。
