盘点过去十年七大数据分析和人工智能灾难如今，各行各业的组织都已经并将继续大力投资数据和分析。但就像石油一样，数据和分析也有阴暗面。根据2022年首席信息官现状调查报告，35%的受访IT领导者表示，数据和业务分析将是今年推动其组织发展的最大单项IT投资，20%的IT领导者对机器学习/人工智能进行了调查。从机器学习算法驱动的分析和行动中获得的见解可以为组织提供竞争优势，但错误可能会在声誉、收入甚至生命方面付出高昂代价。了解您的数据及其告诉您的内容很重要，但了解您的工具、了解您的数据并牢记贵组织的价格也同样重要。以下是过去十年中一些备受瞩目的数据分析和人工智能灾难，它们说明了采用这些技术时可能遇到的问题。1.人工智能算法发现一切，但无法预测COVID-19自COVID-19爆发以来，许多组织都在寻求使用机器学习算法来帮助医院更快地诊断或分类患者。但据英国国家数据科学和人工智能中心图灵研究所称，这些预测工具收效甚微。《麻省理工科技评论》已经记录了许多失败，其中大部分源于工具训练或测试方法的错误，其中错误标记的数据或来自未知来源的数据是常见的罪魁祸首。剑桥大学机器学习研究员DerekDriggs和他的同事在《Nature Machine Intelligence》上发表了一篇论文，探索使用深度学习模型进行病毒诊断。该论文得出结论，深度学习技术不适合临床使用。例如，Driggs的团队发现他们自己的模型存在缺陷，因为该模型是在一个数据集上训练的，该数据集包括扫描期间躺下的患者以及站立患者的扫描。躺着的病人更有可能患重病，因此该算法学会了根据扫描中病人的位置来发现COVID-19风险。类似的例子包括在包含健康儿童胸部扫描的数据集上训练的算法，只是为了学习识别儿童而不是高危患者。2.不准确的购房算法导致Zillow损失数百万美元并裁员。员工，主要是由于用于预测房价的机器学习算法错误导致Zillow的后果。ZillowOffers是一个程序，Zillow通过该程序根据机器学习算法得出的房屋价值“Zestimate”指数对房产进行现金报价，旨在快速转售房产。但Zillow的一位发言人告诉CNN，该算法的中位错误率为1.9%，对于非市场房屋评估，错误率可能更高，高达6.9%。CNN报道称，自2018年4月上线以来，Zillow通过ZillowOffers购买了27,000套房屋，但到2021年9月底仅售出17,000套。新冠疫情爆发、家装劳动力短缺等黑天鹅事件已经导致算法的准确性出现问题。Zillow表示，该算法导致该公司无意中购买了高于当前估值的房屋，导致2021年第三季度库存价格减记3.04亿美元。也许他们可以调整算法，但最终风险太大，Zillow联合创始人兼宣布后，首席执行官里奇巴顿在与投资者的电话会议上表示。3.Excel电子表格中的数据限制导致英国数以千计的新冠病例没有被报告。当天有近16,000例新的冠状病毒病例未报告。谁是罪魁祸首？答案是MicrosoftExcel中的数据限制问题。英格兰公共卫生部使用自动化流程将COVID-19的阳性实验室结果作为CSV文件传输到Excel模板中，用于报告仪表板和接触者追踪。然而不幸的是，Excel电子表格每张最多支持1,048,576行和16,384列。此外，PublicHealthEngland以列而不是行的形式输出信息，因此当达到16,384列的限制时，Excel会自动删除剩余的15,841条记录。虽然“故障”并未阻止接受检测的个人收到检测结果，但它确实阻碍了接触者追踪工作，使NHS更难发现并通知与受感染患者有过密切接触的个人。英国公共卫生部临时首席执行官迈克尔·布罗迪(MichaelBrodie)在10月4日的一份声明中表示，NHS测试与追踪部门和英国公共卫生部迅速解决了这个问题，并立即将所有关键记录转移到系统中。英国公共卫生部实施了一项“速战速决”，将大文件分解，然后对所有系统进行全面的端到端审查，以防止未来发生类似事件。4.美国国内的医疗算法未能标记黑人患者2019年发表在《科学》杂志上的一项研究表明，美国各地的医院和保险公司使用医疗预测算法来识别那些需要“高风险护理管理”的人。“计划的患者，但该算法不太可能挑出黑人患者。这个高危护理管理项目旨在为患有慢性病的患者提供训练有素的护理人员和初级保健监测服务，以防止出现严重的并发症。但该算法更有可能将白人患者推荐给该计划的人比黑人患者多。研究发现，该算法使用医疗保健支出作为确定个人医疗需求的基础。但根据《科学美国人》，那些病情较重的黑人患者的医疗费用与那些健康的白人患者，这意味着尽管黑人患者有更高的医疗需求，但他们的风险得分很低。研究人员认为可能有几个因素。首先，有色人种的收入较低的几率更高，并且即使他们有保险也不太可能获得适当的医疗服务。隐性偏见也可能导致有色人种获得的医疗质量较低。虽然尽管这项研究没有透露具体的算法或开发人员，但一些研究人员告诉《科学美国人》，他们正在与开发人员合作解决这个问题。5.微软聊天机器人在发布种族主义推文的数据集上进行训练2016年3月，微软发现使用Twitter交互作为机器学习算法的训练数据可能会产生令人失望的结果。微软在Twitter平台上发布了人工智能聊天机器人“Tay”，将其描述为“对话理解”方面的实验。微软为这款聊天机器人设计了一个少女角色，结合机器学习和自然语言处理，通过Twitter与用户互动。微软使用匿名的公开数据和一些喜剧演员预先写好的素材输入到机器人中，然后让它从社交网络上的交互信息中学习和发展自己。该聊天机器人在16小时内发布了超过95,000条推文，迅速变成了公然的种族主义、厌恶女性和反犹太主义。微软迅速叫停并做出调整，但最终还是终止了该服务。事件发生后，微软研究与孵化部企业副总裁（后来的微软医疗保健企业副总裁）PeterLee在微软官方博客发文称：“我们对Tay无意冒犯和伤人的推文感到抱歉。我们深表歉意，但这些推文并不代表我们的立场，也不代表我们设计Tay的方式。”Lee指出，Tay的前身是2014年在中国发布的微软小冰，已经成功与超过4000万人进行了对话。微软没有考虑到的是，一群推特用户会立即开始发送种族主义和种族歧视言论。对Tay发表了厌恶女性的评论，Tay机器人很快从这些信息中吸取教训，并最终将其纳入自己的推文中。结果，Tay在推特上发布了非常不恰当和应受谴责的文字和图片。”6.亚马逊的AI招聘工具只推荐男性与许多大公司一样，亚马逊渴望有一些工具可以帮助人力资源部门筛选和找到最佳候选人。在2014年，亚马逊开始开发AI招聘软件来做到这一点。但有一个问题：这个软件非常青睐男性候选人。2018年，路透社爆料称亚马逊取消了该项目。亚马逊的系统对候选人的星级评分从1到5，但系统核心的机器学习模型是根据近10年来提交给亚马逊的简历进行训练的——大部分是男性。因为它是用这些数据训练的，系统开始对简历中包含以下内容的短语给予较低的评分“女性”这个词，甚至对女子大学的候选人也是如此。亚马逊当时表示，亚马逊的招聘人员从未使用该工具来评估候选人。亚马逊试图将该工具调整为中立，但最终ely决定它不能保证该工具不会学习其他一些歧视性的候选人排名方式，并结束了该项目。7.零售巨头Target的分析项目侵犯隐私2012年，零售巨头Target的一个分析项目展示了Target如何从数据中洞察客户。据《纽约时报》报道，2002年，Target的营销部门开始思考如何判断顾客是否怀孕，最终催生了一个预测分析项目，导致Target无意中向一名十几岁女孩的家人透露她怀孕了.反过来，各种文章和营销博客开始引用该事件，建议人们避免那些“令人毛骨悚然的因素”。Target的营销部门想要确定怀孕的顾客，因为在这个特殊的怀孕时期，人们很可能会改变他们的购物习惯。这样，如果Target能够在这段时间接触到这些客户，培养这些客户新的购物行为，让他们转向Target购买百货、服装或其他产品。与其他所有大型零售商一样，Target一直在通过购物者代码、信用卡、调查等方式收集客户数据，然后将购物者人口统计数据与第三方数据结合起来。在处理完所有这些数据后，Target的分析团队果然通过分析Target销售的大约25件商品生成了“怀孕预测”分数。然后，营销人员可以使用优惠券和营销信息来锁定评分较高的客户。进一步的研究表明，对顾客生育状况的研究会让他们中的一些人感到毛骨悚然。根据《泰晤士报》的说法，Target并没有放弃定向营销，但它确实开始在广告中混合他们知道孕妇不会购买的东西，比如在尿布广告中展示割草机广告。让客户感觉不那么刻意。
