2017年，《经济学人》宣布数据已经超越石油成为世界上最有价值的资源。从那以后，这种说法一直在重复。各行各业的企业已经并将继续大力投资数据和分析。但就像石油一样，数据和分析的世界也有其阴暗面。根据《2022 年首席信息官状况》报告，35%的IT领导者表示，数据和业务分析领域将推动他们公司今年最大的IT投资。20%的IT领导者表示机器学习/人工智能将推动他们最大的IT投资。由机器学习算法驱动的业务计划和从分析工作中获得的洞察力可以为企业带来竞争优势，但一些错误可能会使企业在声誉、收入甚至生命方面付出沉重代价。了解您的数据及其包含的信息很重要，了解您使用的工具、了解您的数据并牢记您的业务价值也很重要。以下是过去十年中分析和人工智能领域的一些引人注目的错误，以说明哪里可能出错。AI算法可以识别除COVID-19以外的所有东西自COVID-19大流行开始以来，许多公司一直在尝试使用机器学习算法来帮助医院更快地诊断或分诊患者。但据英国国家数据科学和人工智能中心图灵研究所称，预测工具几乎没有影响。《麻省理工科技评论》（《麻省理工科技评论》）记录了许多失败，其中大部分源于工具训练或测试方式的错误。使用错误标记的数据或使用来自未知来源的数据是问题的常见原因。剑桥大学机器学习技术研究员DerekDriggs和他的同事在《自然-机器智能》（自然机器智能）杂志上发表了一篇论文，探索使用深度学习模型诊断病毒。论文明确指出该技术不适合临床使用。例如，Driggs的团队发现他们自己的模型存在缺陷，因为它是在一个数据集上训练的，该数据集包括对躺着的患者的扫描以及对站立患者的扫描。躺着的患者更有可能患重病，因此该算法学会了根据患者在扫描中的身体姿势来识别COVID-19风险。一个类似的例子是在包含健康儿童胸部扫描的数据集上训练的算法。该算法没有识别高危患者，而是学会了如何识别儿童。Zillow,Inc.由于购房算法中的灾难性错误而损失了数百万美元并裁员占公司员工总数的百分比（约2000名员工）。这家房地产倒卖公司的困境是由于其用于预测房价的机器学习算法错误造成的。ZillowOffers是一个程序，通过该程序，公司根据“Zestimatepropertyvaluationsoftware”的机器学习算法，根据房屋价值对房产进行现金报价。这个想法是翻新房产并迅速出售。但Zillow的一位发言人告诉CNN，该算法的中位错误率为1.9%，对于非上市房屋，错误率可能更高，高达6.9%。CNN报道称，自2018年4月推出以来，Zillow通过ZillowOffers购买了27,000套房屋，但到2021年9月底仅售出17,000套。新冠疫情和家装劳动力短缺等黑天鹅事件也造成了准确性问题的算法。Zillow表示，该算法导致该公司无意中以高于目前预计的未来销售价格的价格购买房屋，导致2021年第三季度房屋库存减少3.04亿美元。消息传出后，在与投资者的电话会议上，Zillow共同-创始人兼首席执行官RichBarton表示，算法可能会有所调整，但最终风险太大。由于超出电子表格的数据限制，英国失去了数千例新的冠状病毒病例。10月2日至2日期间，近16,000例冠状病毒病例未报告。罪魁祸首？MicrosoftExcel工作表中的数据限制。英国公共卫生部使用自动化流程将阳性冠状病毒实验室结果作为CSV文件传输到Excel模板中，然后将其用于报告仪表板和接触者追踪。遗憾的是，Excel电子表格每张最多允许1,048,576行和16,384列。此外，PublicHealthEngland按列而非行列出感染。当这些案例超过16384列的限制时，Excel工作表将截断底部的15841条记录。这个“故障”并没有阻止接受病毒检测的个人收到他们的结果，但它确实阻碍了接触者追踪工作，并使NHS更难找到并通知与病毒感染者有过密切接触的个人。在10月4日的一份声明中，英国公共卫生部(PHE)临时首席执行官迈克尔·布罗迪(MichaelBrody)表示，该问题已由NHS测试与追踪和英国公共卫生部迅速解决。所有悬而未决的病例都已立即转移到NHS测试和追踪部门的接触者追踪系统。英国公共卫生部通过分解大文件并对所有系统进行全面的端到端审查来实施“快速缓解措施”，以防止未来发生类似事件。医疗保健交付算法未能标记黑人患者根据2019年发表在期刊《科学》上的一项研究，美国各地的医院和保险公司使用医疗保健交付预测算法来确定是否需要参加“高风险护理管理”计划患者，但该算法不太可能挑出黑人患者。高风险护理管理计划为慢性病患者提供训练有素的护理人员和初级保健监测，以预防严重的并发症。但与黑人患者相比，该算法更有可能向白人患者推荐这些项目。研究发现，该算法使用健康支出作为某人是否需要医疗保健的指标。但据《科学美国人》（《科学美国人》）杂志报道，病情较重的黑人患者的医疗保健费用与健康的白人患者相当，这意味着尽管黑人患者的医疗需求更高，但他们的风险评分较低。根据该研究的研究人员，可能有几个因素在起作用。首先，有色人种更有可能收入较低，这可能使他们即使有保险也不太可能获得医疗保健。隐性偏见也可能导致有色人种的医疗质量较低。虽然该研究没有指明算法或其开发者的名字，但研究人员告诉《科学美国人》杂志，他们正在与开发者合作解决这个问题。经过数据集训练的Microsoft聊天机器人发布种族主义推文2016年3月，Microsoft了解到使用Twitter平台交换消息作为机器学习算法的训练数据可能会产生令人沮丧的结果。微软在社交媒体平台上推出了一款名为Tay的人工智能聊天机器人。微软称之为“对话式理解”实验。这个想法是，聊天机器人将扮演一个十几岁的女孩的角色，结合使用机器学习和自然语言处理，通过Twitter平台与他人交流。微软向机器人提供一些匿名的公共数据和喜剧演员预先编写的材料，并让它通过社交网络上的互动来学习和发展。在16小时内，聊天机器人发布了超过95,000条推文，这些推文很快就带有公然的种族主义、厌女症和反犹太主义色彩。微软迅速暂停该服务进行调整，最终停产。“对于Tay无意中冒犯和伤人的推文，我们深表歉意，这些推文不代表我们是谁，我们的立场，也不代表我们是如何设计这个机器人的。”事件发生后，微软负责研究与孵化的公司副总裁彼得·李（时任微软医疗保健部门公司副总裁）在微软官方博客上发文称。李指出，微软于2014年在中国推出了Tay的前身小冰，而在Tay推出前的两年时间里，微软小冰已成功与超过4000万人进行了对话。微软没有想到的是，一群Twitter用户会立即开始向Tay发送种族主义和厌恶女性的评论。该机器人可以快速从材料中学习并将其整合到自己的推文中。“虽然我们为多种类型的系统滥用做好了准备，但我们对这种特殊的冒犯行为却严重疏忽了。Tay因此在推特上发布了这些非常不恰当和应受谴责的文字和图片，”李写道。亚马逊的人工智能招聘工具只推荐男性，就像许多大公司一样，亚马逊渴望使用可以帮助其人力资源部门筛选一些工作申请以找到最佳人选的工具。2014年，亚马逊公司开始开发人工智能招聘软件来解决这一问题。但只有一个问题：系统非常偏爱男性申请者。2018年，路透社报道亚马逊终止了该项目。亚马逊的系统对申请者进行了1到5星的评分。但系统核心的机器学习模型是根据10年的简历数据进行训练的提交给亚马逊——主要是男性简历。根据训练数据，系统将包含“女性”一词的简历置于不利地位，甚至在来自女子学院的申请者。当时，亚马逊表示，亚马逊的招聘人员从未使用该工具来评估候选人。亚马逊试图修改该工具以使其公平，但最终得出结论，该公司无法保证该工具不会从其他筛选候选人的歧视性方式中吸取教训，并终止了该计划。Target的分析工作侵犯隐私2012年，零售巨头Target的一个分析项目显示了企业可以从客户数据中了解多少信息。据《纽约时报》介绍，2002年，Target的销售部门开始考虑如何判断顾客是否怀孕。这个想法导致了一个预测分析项目的启动，该项目导致公司无意中向一名十几岁女孩的家人透露她怀孕了。这反过来导致各种文章和营销博客引用该事件作为避免这种“可怕情况”的建议。Target的营销部门想要找到怀孕的客户，因为在生活中的某些时候（尤其是怀孕），人们很可能会完全改变他们的购买习惯。例如，如果塔吉特能够在这段时间接触到这些客户，就可以在这些客户中培养新的购物行为，让他们来塔吉特购买杂货、服装或其他产品。与其他所有大型零售商一样，Target一直在通过购物者代码、信用卡、调查等方式收集客户数据。它将此数据与其购买的人口统计数据和第三方数据集成在一起。在处理所有这些数据后，Target的分析团队能够确定，通过分析公司一起销售的大约25种产品，可以生成“怀孕预测”分数。然后营销人员可以提供优惠券并向高分客户发送营销信息。进一步的研究表明，研究顾客的生育状况可能会让他们中的一些人感到恐惧。根据《纽约时报》的说法，该公司并没有放弃其有针对性的营销工作，但他们确实开始在广告中混合他们知道孕妇不会购买的商品（包括割草机广告和尿布广告）努力吸引顾客。这些广告组合看起来是随机的。
