当前位置: 首页 > 科技观察

为什么许多机器学习策略都失败了

时间:2023-03-14 08:56:05 科技观察

根据云计算服务提供商RackspaceTechnology最近进行的一项调查,大多数组织都在努力制定可行的AI策略。该调查涵盖了制造业、金融业、零售业、政府和医疗保健等各个行业的1,870家组织。调查表明,只有20%的组织拥有成熟的AI/ML程序,而其余组织仍在努力弄清楚如何使其更有用。毫无疑问,机器学习几乎在每个领域都有很好的应用前景。将机器学习模型应用于实际工作的一些好处是降低成本、提高准确性、更好的客户体验以及引入新功能,但机器学习并不是万能药。在启动和运行之前,必须克服一些障碍。组织在将AI技术集成到其运营中时面临的三个主要挑战是技能、数据和策略,而Rackspace的调查清楚地说明了为什么一些机器学习策略会失败。机器学习是关于数据的机器学习模型基于计算资源和数据。借助云计算服务,获得训练和运行AI模型所需的硬件变得更加容易且更加经济实惠。但在规划和采用人工智能战略的各个阶段,数据仍然是一个主要障碍。在Rackspace的调查中,34%的受访者表示数据质量不佳是机器学习研发失败的主要原因,另有31%的受访者表示缺乏现成的生产数据。这突出了将机器学习技术应用于现实世界问题时的主要障碍之一。尽管AI研究界可以访问许多公共数据集来训练和测试其最新的机器学习技术,但将这些技术应用于应用程序时,要获得高质量的数据并不容易。在工业、卫生和政府部门尤其如此,这些部门的数据往往稀缺或受到严格监管。当机器学习计划从研究转向生产时,数据问题再次出现。在使用机器学习提取有价值的见解时,数据质量仍然是最大的障碍。数据工程问题也构成了一个严重的问题,例如数据孤岛、缺乏连接不同数据源的人才,以及无法以更有意义的方式足够快地处理数据。数据是从机器学习模型中获得可操作见解的最关键因素RackspaceTechnology的首席技术官JeffDeVerter表示,初创企业和老牌企业都面临数据问题,但规模是两者之间的关键区别。DeVerter评论说:“初创公司通常没有资源来实施高质量的数据管道并随着时间的推移持续管理它。成熟的公司通常规模更大,面临更严格的要求。“组织应对人工智能战略数据挑战的最佳方式是对其数据基础设施进行全面评估。消除孤岛应该是每项机器学习计划的关键优先事项。组织还应该制定正确的程序来清理数据以提高其机器学习模型的准确性和性能。对人工智能的人才需求仍然很高对于大多数组织来说,第二个挑战是获得机器学习和数据科学人才。根据Rackspace的一项调查,缺乏内部专业知识知识是机器学习项目研发计划失败的第二大主要原因。许多公司都在努力招募人才来实施他们的AI战略。随着机器学习和深度学习最近才在各行业组织的生产环境中获得主流采用,许多较小的公司组织没有数据科学家和机器学习工程师开发人工智能模型。并且数据科学家和机器学习工程师的平均工资与经验丰富的软件工程师相当,这使得许多组织很难组建一支能够领导他们AI项目的伟大团队。虽然机器学习和数据科学人才短缺是众所周知的,但没有引起太多关注的一件事是需要招聘更多的数据工程师,即构建、维护和更新数据库、数据仓库和数据湖工作者。根据Rackspace的一项调查,许多组织的机器学习项目都失败了,因为他们没有能力为机器学习目的调整数据基础设施。打破孤岛,迁移到云平台,构建Hadoop集群,创建可以利用不同平台能力的混合系统,是组织非常缺乏相关人才的领域。这些问题使他们无法在整个组织范围内实施机器学习计划。随着新的机器学习和数据科学工具的出现,随着我们的成长,人才短缺问题将变得不那么突出。谷歌、微软和亚马逊已经推出了可以更轻松地开发机器学习模型的平台。一个例子是微软的Azure机器学习服务,它提供了一个可视化界面,可以更轻松地创建机器学习模型而无需编程。另一个例子是谷歌的AutoML,它可以自动执行繁琐的超参数调整过程。虽然这些工具不会取代机器学习人才,但它们确实降低了那些想要进入该领域的人的进入门槛,并将允许许多组织为这些不断发展的领域招聘更多的技术人才。“缺乏内部数据科学人才在过去并不是障碍,现在更是一个问题,”DeVerter说。组织可以使用自己的机器学习来提供帮助,也可以使用拥有这些人才的咨询公司。“这一领域的其他发展是云存储和分析平台的发展,这大大降低了创建和运行人工智能系统所需的数据基础设施的复杂性。一个例子是谷歌的BigQuery,一个基于云的数据仓库,可以轻松地查询存储在各种来源的大量数据。机器学习工具的兼容性和集成能力正在增强,这将使组织更容易将机器学习工具集成到其现有的软件和数据生态系统中。在实施AI计划之前,每个组织必须对内部人才、可用工具和集成可能性进行全面评估。组织需要了解他们对内部工程师的依赖程度以及雇用他们的成本。这将是决定成败的因素机器学习计划。另外,考虑再培训是否是一个可行的行动过程在。从长远来看,提高数据科学和机器学习项目的工程师技能将带来更多好处。外包AI人才近年来出现的另一个趋势是AI项目的外包。在Rackspace的一项调查中,只有38%的受访者表示他们依靠内部人才来开发AI应用程序。其余受访者表示要么完全外包他们的人工智能项目,要么雇佣内部员工和外包人才。大多数组织依靠外部人才来规划和实施他们的AI计划。现在有一些公司专门研究和实施人工智能战略。例如,C3.ai,一家面向多个行业领域的人工智能解决方案提供商。该公司为亚马逊、微软和谷歌等云计算提供商提供人工智能工具。该公司还提供人工智能咨询和专业知识,在战略制定和实施阶段逐步指导客户。Rackspace的调查报告指出:“一个成熟的供应商可以带来从战略到实施再到维护和支持的一切。它提供了避免AI和机器学习工作可能失去动力或陷入复杂性的领域的策略。技术专家还可以使组织免于混乱清理和维护。将这些专业知识结合在一起可以对最终的成功产生重大影响。但是,值得注意的是,将组织的AI战略完全移交给外部供应商可能是一把双刃剑。成功的战略需要双方之间的密切合作AI专家和组织的技术人员实施该战略。DeVerter说,“这与采用DevOps方法进行开发并试图将整个开发外包的组织非常相似。DevOps需要开发人员、业务分析师和其他业务人员之间的密切协作。同样,人工智能项目需要战略和技术专业知识,还需要与组织和领导层密切合作。“人工智能外包人才在工作中必须一丝不苟。虽然外包可以加快制定和实施人工智能战略的过程,但组织必须确保其内部人员充分参与这一过程。理想情况下,组织应该发展和壮大自己的团队数据科学家和机器学习工程师,并在需要时与外部专家合作。你如何评估AI战略?最后,开始AI之旅的组织的另一个痛苦领域是预测AI战略和价值的结果。鉴于机器学习在许多领域的应用尚处于萌芽状态,很难提前知道人工智能战略将规划和实施多长时间以及投资回报率是多少。相反,当获得对人工智能计划的支持时,组织中的创新者很难让其他人加入。在Rackspace的一项调查中,18%的受访者认为缺乏明确的商业案例是一个主要障碍组织的AI采用策略。组织高管缺乏承诺也是最大的障碍之一。缺乏用例和高级管理层的承诺再次成为机器学习过程中的主要挑战。DeVerter说:“人工智能通常会在组织内部寻找问题。我认为这是在组织内广泛采用人工智能的最大障碍之一。这些活动将得到进一步资助,因为人工智能工作者可以展示人工智能如何使他们的组织受益的例子。组织领导者需要知道它将如何帮助节省成本或获得利润。“评估AI计划的结果很困难。调查显示,衡量AI项目成功与否的两个关键绩效指标是利润率和收入增长。可以理解的是,这种对快速利润的关注部分是由于高成本。据Rackspace称,组织平均每年在AI项目上花费106万美元。然而,虽然一个好的AI程序可以增加收入并降低成本,但在许多情况下,机器学习的长期价值在于开发新的用例和产品。DeVerter表示:“与由这些短期收益资助的长期战略不匹配的短期财务收益不会持续很长时间。“对于那些在其组织中负责AI计划的人来说,需要清楚地列出AI战略的用例、成本和收益。组织中的决策者应该清楚地了解将要做什么。他们应该了解短期-投资人工智能的长期影响。好处,但也应该知道从长远来看会有什么好处。