机器学习是当下最热门的技术之一，许多业务和技术主管都在争先恐后地了解他们的组织如何参与其中。如果做得好，机器学习可以帮助您创建更有效的销售和营销活动、改进财务模型、更轻松地检测欺诈、改进设备的预测性维护，等等。但是机器学习也会犯下让你后悔的严重错误。根据采用机器学习的公司的实际经验，这里有五种机器学习可能出错的方式。他们分享他们的经验，希望您能向他们学习以避免同样的失败。第1课：错误假设使机器学习脱轨ProjectorPSA是一家美国公司，设计和制造用于专业服务的自动化软件，并帮助咨询公司开展业务。当它尝试使用机器学习来预测人员配置计划的差异时，它以艰难的方式吸取了教训。由于咨询公司充斥着专业的、训练有素的顾问，并且可以有效地利用他们的才能，所以公司通常需要聘请项目经理来评估和预测他们的项目人员需求。然后他们跟踪顾问在每个项目上花费的时间，以便他们可以向客户收费。如果组织在单个系统（例如专业服务自动化工具）中管理这两项活动，则有一些明显的优势，例如能够将预测与实际时间进行比较，以了解不同项目经理计划的准确程度。ProjectorPSA的首席运营官SteveChong回忆说，该公司开始与一家雇用数百名项目经理的客户进行研究。它建立了一个模型，将实际工作的平均小时数与计划范围内的预测小时数进行比较。它还研究了项目经理在几个月内的预测的一致性和可变性。也就是说，如果一周的预测太高，而下一周的预测太低（高可变性），投影机PSA想知道两者是否可以相互抵消，从而使预测的均值差很小，或者方差很小。“最初的前提是低方差和低可变性是好的，高方差和高可变性是坏的，”Chong说。基于这个前提，ProjectorPSA实施了一种机器学习算法，将项目经理分为不同的组，例如“囤积者”和“乐观者”。基于这些数据，该算法使用公司项目经理样本作为训练集。然后，该公司让机器学习算法根据所学知识对剩余的项目经理进行分类。事实证明，由于他们的高差异性和高可变性，它将公司一些最有经验和训练有素的项目经理列为最严重的违规者。“事实上，这些项目经理是公司可以为已经陷入困境的项目提出的，他们希望控制这些项目，”他说。同样，最初的机器学习算法对项目经理的评价非常高，因为她的方差和可变性几乎为零。但事实证明，她将她的预测时间发送给她的团队，并隐含地期望他们将这些时间报告为他们实际工作的时间。Chong说，这导致她从未超出或低于预算，但这样做实际上鼓励她的团队以不利于大局的方式行事。“这些错误不是机器学习算法本身造成的，而是我们最初训练它们时所做的假设造成的，”Chong说。“他们只是回到了完全依赖数据的现实，而没有完全理解数据代表什么。”一旦公司训练了机器学习算法来识别这些新的配置文件，就会感觉它能更好地反映现实。第2课：无监督机器学习可能会产生意想不到的偏差虽然机器学习可以完成许多任务，但机器学习可能会产生错误的结果，因为在项目开始时没有考虑到某些情况。这就是巴西金融服务公司MejorTrato的遭遇，该公司将机器学习用作其人力资源部门数字化转型的一部分。该项目涉及让潜在的新员工通过实时聊天和使用公司内部开发的机器学习聊天机器人回答一系列问题。最初使用聊天机器人时会出现两个关键问题。一种是要求求职者填写错误的个人资料/职业表格。另一个问题是面试时间与HR员工会议重叠，这意味着HR员工无法根据需要监控聊天机器人。首席技术官CristianRennella表示，在最初的几周内，人力资源团队中的某个人监控每一次对话以在必要时纠正机器人是至关重要的。“我们错误地认为一切都结束了，并且在没有监督的情况下离开了聊天机器人，”她说。这个教训是“不要忘记在几个月内持续监控聊天机器人的全职工作。”在没有对聊天机器人进行微调的情况下，该公司得出结论，收集到的数据中有10%是错误的。“机器学习最初可能对90%的答案有用，但剩下的10%应该通过人工监督进行微调，”Rennella说。她说：“随着时间的推移，可用性将从90%提高到99%，”但我们不能停止关注可能的偏差甚至新情况，这些在我们开始项目时是意想不到的。经验教训3：糟糕的数据注释可以伤害机器学习的结果，俄罗斯的两家子公司AshmanovNeuralNetworks和SOVA（SmartOpenVirtualAssistant）正在为他们的商业客户开发基于机器学习的产品，他们的内容包括视频分析、自然语言处理、信号处理和神经网络。两家公司的首席执行官StanislavAshmanov表示，公司在机器学习方面面临的最大问题之一是基于标签难度的不良数据。“提供高质量的数据标签非常困难。是的，”阿什曼诺夫说。“通常，从事数据标签工作的人都很草率，因为他们通常只是匆忙工作。更重要的是，很难以一种每个人都能以同样的方式理解的方式交付任务。“因此，这些数据可能包含多个标记样本，例如图片中错误识别的轮廓，这在一定程度上影响了经过训练的神经网络的性能。对于在短时间内收集所需的大量数据也非常有用。具有挑战性。Ashmanov说，数据收集可能需要几个月的时间。此外，从公开来源收集的数据，例如在Internet上找到的数据，并不总是准确地反映现实。例如，在工作室或实验中，在工厂房间拍摄的照片可以与现实生活中的街景或工厂生产单元的快照有很大不同。因此，以这种方式训练的神经网络的性能会很低。作为客户项目的一部分，当公司训练神经网络来识别这可能出错的一个例子是眼镜。他们从社交媒体收集照片并标记它们。Ashmanov说神经网络的表示质量低因为它将眼睛下面??有黑眼圈的人误认为是戴黑眼圈的人。眼镜。另一个客户提交了两张城市的卫星图像。任务是在图像中标记汽车并教神经网络识别它们并计算它们的大概数量。在这个例子中，问题是神经网络会Theledgesofthe.以及改进初步数据处理和后处理证明检查，”Ashmanov说。第4课：过于细粒度的分类问题会混淆机器学习该公司使用机器学习进行文档分类和预测分析。通过使用这项技术，法律团队可以大大减少审查和整理文件所花费的时间。首席战略官大卫卡恩斯表示，使用机器学习对文件进行分类是有效的，但并不完美。该公司发现的一个弱点是，人们会过分依赖机器学习来解决微妙、复杂的分类问题。例如，在法律领域，机器学习文档分类器通常用于响应“生成文档请求”来识别文档。甲方要求提供与特定主题或内容相关的文档，乙方可以使用机器学习文档分类器进行分类，以帮助筛选响应文档的文档存储库。卡恩斯说，这种方法非常有效，律师们已经开始定期使用该技术进行辅助审查(TAR)文件。“这一成功导致人们希望能够盲目地使用机器学习文档分类器进行更精细的分类，例如识别受律师-客户特权保护的文档，”他说。虽然使用机器学习很容易就特权文件的内容训练文件分类器，但一份文件如何在法律上享有特权在很大程度上取决于文件的受众、机密性、接收时间以及与法律建议或诉讼的关系。Carns说，大多数机器学习文档分类器无法对这些额外的上下文线索进行充分分类。“这并不意味着机器学习文档分类器无法帮助选择和分类具有潜在特权的文档，”Carns说。“但法律专业人士不应该仅仅依靠机器学习来确定特权。”今天，人类律师需要手动审查潜在的特权文件，以最终决定是否适用法律特权。第五课：测试/训练数据污染会影响机器学习Indico，一家为客户提供企业级人工智能和深度学习服务多年的美国自动化公司，一直遇到的最大问题之一就是机器学习测试和训练数据的污染。训练数据。污染。CTOSlaterVictoroff表示，一位客户正在创建一个模型来确定一条新闻是否会影响其股价。由于难以准确确定影响的时间，该公司创建了一个模型来预测第二天的影响。“他们没有意识到的是，他们忽略了确保测试/训练数据完全分离的数据科学基础，”Victoroff说。“因此，他们在预测第二天的影响时给出了接近100%的准确率，而实际上该模型并不比随机模型好多少。”另一项体验涉及客户查看其内部自然语言处理(NLP)系统。客户的团队多年来一直在为机器学习模型创建和更新功能，并针对同一组搜索结果不断测试这些功能。该团队还经历了测试/训练数据污染的影响。“如果你看到你的测试错误并改变你的算法以改善你的测试错误，你的数字将不再准确，”Victoroff说。在一些特殊情况下，这个问题往往是不被理解的。在内部，该模型对特定任务的准确率接近100%。“但在生产过程中，系统通常无法正常工作，因为它们会无意中污染结果，”Victoroff说。“任何组织在机器学习中可能犯的最严重的错误是测试/训练数据的污染。”
