来自数据和机器学习算法的见解可能是无价的，但错误可能会损害您的声誉，影响您的收入，甚至您的生活。这些引人注目的分析和人工智能错误说明了一切可能出错的地方。2017年，《经济学人》宣布数据（不是石油）已经成为世界上最有价值的资源。从那以后，这样的评论不断出现。各行各业的组织已经并将继续对数据和分析进行大量投资。但与石油一样，数据和分析也有不利之处。根据IDG发布的《2020年首席信息官现状报告》，37%的IT领导者表示，今年数据分析将成为组织最大的IT投资。机器学习算法驱动的分析和行动可以产生各种洞察力，这些洞察力反过来可以为组织带来竞争优势，但错误可能会在声誉、收入甚至生命安全方面付出高昂的代价。了解您的数据及其含义很重要，但了解您的工具、数据并牢记组织的价值观也同样重要。以下是过去十年中一些备受瞩目的分析和人工智能错误，以说明一切都可能出错的地方。由于电子表格数据超出规定的限制，英国失去了数千例冠状病毒病例2020年10月，负责统计新的冠状病毒感染的政府机构英格兰公共卫生(PHE)透露，在9月25日至10月2日期间，有近16,000例冠状病毒病例未报告两天了，问题的罪魁祸首是MicrosoftExcel中的数据限制。英国公共卫生部使用自动化流程将阳性冠状病毒实验室检测结果作为CSV文件传输到用于报告仪表板和接触者追踪的Excel模板中。遗憾的是，每个Excel电子表格最多支持1,048,576行和16,384列。此外，PHE将案例列为列而不是行。当个案超过16384列的限制时，Excel会截断底部的15841条记录。虽然有一个“小故障”并没有阻止接受检测的人获得检测结果，但它确实阻碍了接触者追踪工作，使NHS很难发现与感染者有过密切接触的人。人并向他们发送通知。在10月4日发布的一份声明中，英国公共卫生部临时首席执行官迈克尔布罗迪表示，NHS测试和追踪应用程序和英国公共卫生部迅速解决了这个问题，并立即将所有未记录的病例转移到NHS测试和追踪系统。Trace的接触者追踪系统。英国公共卫生部实施了一项“快速缓解”措施，拆解了大文件并对所有系统进行了全面的端到端评估，以避免同一事件再次发生。医学算法未能标记黑人患者2019年，《科学》期刊上发表的一项研究表明，美国各地的医院和保险公司使用医学预测算法来识别需要纳入“高风险护理管理”计划的患者，而且这个算法不太可能专门挑出黑人患者。高风险护理管理计划为慢性病患者提供训练有素的护理人员和初级保健监测，以预防严重的并发症。但是，该算法比黑人患者更有可能推荐白人患者。研究发现，该算法使用医疗支出作为识别个人医疗需求的指标。但是《科学美国人》报告说，病情较重的黑人患者的医疗费用与病情较轻的白人患者的医疗费用相当，这意味着尽管他们的需求更大，但他们的风险评分较低。进行这项研究的研究人员认为，有几个因素促成了这一结果。首先，有色人种可能收入较低，即使有医疗保险也可能无法获得医疗保健。隐性偏见也可能阻止他们接受优质护理。虽然该研究没有指明算法或开发者的名字，但研究人员告诉《科学美国人》，他们正在与开发者合作解决这个问题。在数据集上训练的微软聊天机器人发送种族主义推文2016年3月，微软了解到使用Twitter交互作为机器学习算法的训练数据可能会产生令人失望的结果。微软在社交媒体平台上发布了人工智能聊天机器人Tay，称其为“对话理解”的实验。“会话理解”基于这样一种想法，即聊天机器人在Twitter中结合使用机器学习和自然语言处理，以少女的化身与人类互动。微软用匿名的公共数据和喜剧演员预先编写的笑话丰富了它，然后让它从社交网络互动中学习和发展。在短短16小时内，聊天机器人发布了超过95,000条推文，这些推文立即改变了语气，充满了明显的种族主义、厌女症和反犹太主义。微软迅速暂停该服务进行调整，并最终停用了Tay。微软研究与孵化部副总裁（时任微软医疗保健公司副总裁）PeterLee表示：“虽然Tay没有冒犯的意思，但他发了一条离谱的推文，对此我们深表歉意。这些推文既不代表微软的立场，也不代表微软对Tay的设计方式，事发后Lee在微软官方博客上发布了这样一篇博文。Lee指出，Tay的前身小冰于2014年由微软在中国发布，在Tay发布前的两年时间里，已经成功与超过4000万人进行了对话。微软没有考虑到的是一群Twitter用户立即开始发布有关Tay的推文，包括种族主义和厌恶女性的言论。该机器人迅速从此类材料中学习并将其整合到自己的推文中。“虽然我们为多次系统滥用事件做好了准备，但我们对这次特定攻击的监督松懈了。结果，Tay在推特上发布了极其不恰当和应受谴责的文字和图片，”Lee写道。路。亚马逊AI驱动的招聘工具只推荐男性与许多大公司一样，亚马逊想要能够帮助HR筛选求职申请以找到最佳人选的工具。2014年，亚马逊开始研发基于人工智能的招聘软件。只有一个问题：系统强烈推荐男性候选人。2018年，路透社爆料称亚马逊取消了该项目。亚马逊的系统对求职者实行星级评定，评分范围为1到5。但系统核心的机器学习模型是根据十年来所有求职者向亚马逊提交的简历进行训练的，其中大部分是提交的由男人。由于使用了训练数据，该系统已经开始挑剔简历中的某些词，包括“女性”一词，甚至会降低所有毕业于女子大学的候选人的等级。当时，亚马逊表示，亚马逊的招聘人员从未使用该工具来评估候选人。亚马逊试图修改该工具使其保持中立，但最终无法保证它不会学习其他会歧视它的求职者分类方法，因此该项目被终止。Target的分析侵犯隐私2012年，零售巨头Target的一个分析项目就说明了这一事实。也就是说，公司可以从其数据中了解多少客户。根据《纽约时报》的说法，2002年，Target的营销部门知道公司有办法确定顾客是否怀孕。这个问题催生了一个预测分析项目，当零售商无意中向一名少女的家人透露她怀孕时，该项目引起了轩然大波。这反过来导致大量文章和营销博客引用该事件作为避免“模糊因素”的建议的一部分。Target的营销部门想要识别怀孕的人，因为在生活中有时人们可能会彻底改变他们的购买习惯，其中最重要的是怀孕。如果Target能够接触到在此期间怀孕的客户，则可以在这些客户中培养新的购物行为，让他们来Target购买杂货、服装或其他产品。与其他所有大型零售商一样，Target一直在通过购物代码、信用卡、调查等方式收集有关其客户的数据。它将数据与购买的人口统计数据和第三方数据混合在一起。只需处理所有这些数据，Target的分析团队就可以确定可以将其销售的大约25种产品放在一起进行分析，从而得出“怀孕预测指标”分数。然后，营销人员可以使用优惠券和营销信息来瞄准高分客户。进一步的研究表明，研究客户的生育状况对他们中的一些人来说可能非常令人不安。根据《泰晤士报》的说法，Target并没有放弃其精准营销，但它确实开始为它知道孕妇不会购买的其他东西整合广告（包括在尿布广告旁边添加割草机广告），从而混淆舆论。
