许多人担心另一波人工智能冬天即将到来。虽然不乏ML解决方案,但只有十分之一的解决方案被企业实际部署。为此,我们有必要通过五招大幅降低部署成本。此外,我希望本文能帮助企业ML高管、经理和从业者深入思考并迅速采取行动。这将是我们抵御“人工智能寒冬”的盾牌。1.一个故事Michelle是一位加拿大银行的高级经理,她在上一篇文章中听到我“数据科学很无聊”的结论后,提出了一个积极的ML议程,并与我进行了热烈的讨论。Michelle负责监督银行的ML概念验证(PoC)产品组合。在每个概念验证项目中,她需要确定某项ML技术能否在4-6个月的周期内为企业带来价值。她希望将目标更进一步——不仅仅是完成更多的概念验证,而是实际部署更多的ML项目。顺带一提,她目前的出动率只有13%左右。这就引出了两个重要的问题:为什么我们不能部署更多的ML解决方案?又一波AI寒冬要来了吗?先简单回答一下:是的,如果你还没有提高ML解决方案的部署率,那新一轮的AI寒冬确实已经来临。你和你的数据科学团队将是抵御这股寒潮的最后一道防线。怎么打?解决五个核心挑战以保持势头。否则,你和你的团队将失去“21世纪最性感的工作”的称号(不是我说的,而是网上流行的)。2、宏观图:AI的关注度和供给量2012年以来,我们经历了一波堪称大势所趋的“AI春天”。可以说,智能化的春风吹遍了大地。随着技术的突破,深度学习的逐步商业化,计算资源成本的不断降低,再加上谷歌、英伟达等巨头厂商的推动,人们对AI的关注度一路高涨。但必须承认,自1960年代以来,几乎每隔十年就会出现这样一波AI春天,但之后总会出现严重的AI寒冬。具体表现为:1)怀疑论占主流;2)资金投入大幅减少。怀疑论现在又成为主流了吗?它似乎是(或者至少有它的暗示)。当今市场上出现了各种各样的观点,我们可以通过谷歌搜索趋势来总结。简而言之,当前的趋势是:虽然兴趣仍然很高,但似乎正在趋于平稳。2019年10月18日谷歌趋势基金是否被削减?还没有。目前有两种主要的资本流动类型:风险资本和企业资本。根据毕马威发布的一份报告,如果将2018年第一季度和2019年第一季度的投资资金与历史交易进行比较,你会发现整体风险投资市场已经降温。但VC资金的绝对数额仍然很大,人工智能仍然是最热门的领域(直到VC找到更好的机会)。从供应的角度来看,人工智能初创公司和人才可能会继续增长。数据整理自2019年10月28日另一方面,企业定义了AI的真实需求和未来命运,因为:1)企业是AI初创企业的目标客户;2)企业聘用了最多的ML技术人才。遗憾的是,企业内部人工智能项目的投资金额大多不对外公开。因此,我们只能通过以下理由进行推断:公司是否正在着手部署人工智能解决方案以真正实现(而不是口头上说)这项新兴技术所承诺的价值?如果答案是肯定的,那么他们肯定会维持或增加必要的资金投入。3.微观:AI需求让我们从具体层面来看,企业近几年如何使用和部署AI功能。1)N=114,000家来自北美、欧洲和亚洲的机构;2)国际分析机构;3)《福布斯》,2019年注意事项:a)本调查不代表整体情况。某些企业肯定会部署超过10%的AI项目;我见过公司部署25%到40%,但它们通常很小。b)我们不知道10%的部署是否很高。由于公共数据有限,我们无法比较ML和非MLPOC之间的部署率,或者10%的部署率是否会产生足以抵消所有POC总成本的投资回报率;然而,普遍的共识是,“我们可以做得更好。”c)调查涵盖不同的企业,但主要针对北美的大型组织。我的主要收获是:如果企业不部署更多的ML解决方案,则意味着内部对AI技能的需求将会减少;ML人才会失去耐心而走开;VC会将资金转移到其他更有前途的项目中;高管们失去信心并削减了人工智能项目的资金预算。终究,历史会重演:又一个AI寒冬即将来临,我的背有点凉。4.AI寒冬简史及当前核心问题AI寒冬的原因有很多,可能来自政治、技术、社会等各个层面。利比·金赛曾写过一篇文章分析当前形势。好消息是,过去的许多限制因素,如数据(提供更高质量的训练数据,必然需要更强大的服务和工具)、处理能力、业务准备度和整体数字化水平等,都已经成为现实。明显改善。坏消息是:我们仍然面临着一个无法逾越的大坎(一些老问题仍然存在,但相对有所缓解)。在接受调查的组织中,核心问题是人工智能部署的经济性。与任何其他技术一样,这是整个人工智能行业必须克服的关键挑战。只有及早采取行动才能解决这些经济因素。我的朋友JoanDidion写道,“生活的变化发生在一瞬间,一个普通的瞬间。”我们无法预测事情会变成什么样子,所以无论人工智能冬天是否真的存在,我们都应该保持警惕、准备和准备。那么,让我们深入思考一下,为什么今天只有大约十分之一的ML原理验证项目部署在企业中;以及我们能做些什么。5.先说具体,再说策略简而言之,ML解决方案的部署成本太高。我们可以将部署工作拆分为以下五个子问题。了解了这些核心问题之后,我们就可以一一破解了。1)流程:从概念验证到部署的路径不明确。大多数企业在其组织内建立概念验证想法,优先考虑并资助一些有前途的想法。试点项目培训结束后,有几瓶香槟庆祝,然后就这样了。许多团队不知道下一步该做什么,例如到哪里申请资金,以及与谁合作将概念验证扩展为生产级解决方案。其实这本身就是一个问题,详见第3点。核心问题:如何从概念验证到生产系统?解决办法:先拨出专项资金进行前期部署。为分配预算资金设定明确的部署标准(例如,与旧模型相比,新模型的准确性至少提高2%)。此外,设置注入后续资金的确切流程。接下来,制定集成流程并尽早咨询IT和运营专家。还必须为概念验证项目的最终部署提供资源分配计划。2)激励措施:概念验证项目的KPI设置不当。机器学习概念验证项目通常是企业大规模创新计划的一部分。但大多数企业倾向于继承ML项目整体创新的根本目标,即专注于学习而不是实际部署。这相当于设定了错误的动机和期望。因此,数据科学团队往往专注于试验前沿技术,未能在创新与工程可行性之间取得平衡。换句话说,他们最终得到的是一个可演示的解决方案,而不是一个可以集成的实际产品。他们共享的是技术本身的知识,而不是如何将其集成到核心业务系统中。重要的是要记住,激励驱动行为,而行为决定结果。核心问题:如何帮助团队构建更具可部署性的解决方案?您如何培养一支具备必要能力的团队?解决方案:将KPI的重点从“学习”转移到“可部署的创新”。努力在创新和可部署性之间取得平衡。此外,强调合理的工程设计(可行,在证明价值之前不要过度设计)。最后,标准化可交付成果,包括用于演示的可部署应用程序、集成计划以及用于学习、权衡和潜在风险的业务案例。3)团队:许多概念验证团队没有合适的技能组合。许多数据科学团队只追求构建模型,而不愿意接手工程或运营工作。如第2点所述,激励和普遍预期在其中起着决定性作用。如果没有正确的工程实践,团队在尝试部署时只会遇到障碍。我们可以想象这样一个场景:在投入了4个月的时间建立了一个很好的概念验证之后,高管们也竖起了大拇指。但在尝试部署它之后,我们意识到至少需要一年半的时间来重新设计、组建合适的团队并推动工程尽职调查,然后我们才能真正启动该项目——产生严重影响关于投资回报。核心问题:如何让团队构建可部署的解决方案?您如何培养一支具备必要能力的团队?解决方案:聘请具有深厚工程经验和对工作充满热情的数据科学家。如果没有合适的人选或薪酬要求过高,可以考虑从内部工程和运营团队中引入专家,组成混合团队。如果这些都不起作用……您也可以在LinkedIn上试试运气。4)技术:现有的基础设施不足以支持机器学习项目。开发环境和生产环境之间存在巨大的数据和工具差异。结果是,当我们将解决方案从开发环境迁移到生产环境时,往往需要进行一系列额外的重构和测试。从数据的角度来看,大多数生产数据不能用于开发模型。使用生产数据时,机器学习模型的性能可能会有很大差异。而且从工具的角度来看,开发模型包括很多用于创新目的的新工具,但生产环境肯定更喜欢使用具有高稳定性和可扩展性的旧工具(这不是坏事)。核心问题:如何选择最能实现创新并稳定运行的技术栈?如何整合和简化?解决方案:创建一个沙箱环??境来承载干净且与生产环境高度一致的数据。设置一套实施指南,帮助团队在ML工作流程中选择正确的工具(例如,如果生产环境不支持PythonPandas,则在开发环境中始终使用良好的旧SQL进行数据管道传输;在不同关键组件之间切换语言之间比较麻烦,请慎重)。此外,即使一些基础设施和安全团队反对,也请允许并鼓励团队使用Docker架构来灵活部署高级应用程序堆栈。最后,结合MLDevOps实践。5)政策:改变往往会遭到强烈的反对。关于变革和企业文化变革的讨论相信很多朋友都听过,但我还是想在这里强调一下。与任何新思维、新工具或新流程的引入一样,总会有一定程度的不确定性与疑虑、不熟悉或误解的存在相关联。结果,团队花费更多时间在内部争论,最终错过了落地概念验证项目的最佳时机。核心问题:如何获得利益相关方的支持?解决方案:统一价值观和利益。建立具有正确和明确价值主张的用例。引导上下游流程尽早参与,确保运营层面的高管和利益相关者了解并参与项目。与他们共同设计解决方案,通过第2点中提到的流程收集专业知识,并尽早获得支持。另外,请记住分阶段推进项目。最后记得找一个深谙公司内情的大哥帮忙协调各方意见,这也很重要。结论如果我们不部署更多的ML解决方案,人们会逐渐失去信心,企业会将注意力转向更有前景的机会,旧的AI冬天最终会重演。但我坚信,许多阻碍ML部署的问题,一些是ML技术所独有的,另一些则源于企业内部的固有局限性,可以很快得到解决。但历史掌握在我们手中,我们的努力将决定下一波AI寒冬是否来临!ML高管、管理者、从业者,我们是抵御AI寒冬的最后一道防线,加油!
