AI正在转型，无论是作为一种技术本身还是如何使用它。越来越多的企业将AI测试项目带出实验室，大规模部署，其中一些企业已经取得显着效益。不管围绕AI的不确定性如何，忽视AI的潜力会使仍在以旧方式运营的企业面临潜在风险。但对于许多组织而言，从AI中提取价值可能难以实现。他们的模型可能没有得到很好的调整，他们的训练数据集可能不够大，客户可能会有疑问，以及对偏见、道德和透明度的其他担忧。在AI准备就绪之前将其投入生产，或者在AI战略得到适当审查之前将其扩展到下一阶段，对企业来说可能代价高昂，或者更糟的是，它会导致企业朝着不利的方向发展。那么，您如何知道AI项目是否会改变或破坏您的业务？没有硬性的投资回报率数字，公司必须以某种明确的方式进行创新，所以让我们来看看这些IT领导者和业内人士如何衡量AI的价值：成熟技术与突破性技术衡量任何计划或技术的商业价值不是始终是一个线性计算过程，人工智能当然也不例外，尤其是在考虑成熟度和商业潜力时。已证实的预测变量（例如数据挖掘、成本和培训时间的节省、投资、促进新用途的能力）可以影响决策，尤其是在可接受的投资回报率方面，但无论是否存在关键的信任程度，是否是新技术还是成熟技术。例如，在NASA的喷气推进实验室，衡量AI项目投资回报率的关键因素之一是技术的成熟度。该实验室的首席技术和创新官克里斯·马特曼(ChrisMattmann)表示，一些人工智能技术已经成熟，可以使用，例如自动化业务流程。“每个公司都有一些无聊的东西，我们也是。我们将这些流程自动化，比如票务、搜索、数据挖掘，使用人工智能来查看合同和分包合同，”他说。该实验室使用许多商业技术来做到这一点，包括DataRobot和GoogleCloud。马特曼说，为了确定一项特定技术是否值得投资，他们会考虑该技术是否会节省成本、时间和资源。“如果技术成熟，就会显示出来。”对于那些仍处于中等成熟度的技术，实验室将研究该技术是否有能力开辟新的用途，以及成本如何。“例如，如果我们要去火星，就会有一根用于深空通信的细管，”马特曼说。现在，他们有足够的带宽每天从火星向地球发送大约200张照片。“我们送往火星的漫游车里面有一种豌豆大小的大脑，运行着iPhone1处理器。我们只把抗辐射的东西放在太空中，这样它们才能承受深空环境。我们深知我们知道表现良好的芯片往往是那些较旧的芯片，因此我们不会在流动站上使用先进的人工智能或机器学习。”然而，NASA的Ingenuity火星直升机，原本是技术演示而非探索任务的核心，它搭载的是高通的骁龙处理器——一种AI芯片。“这证明可以使用更新的芯片来用AI做更多的事情。”这种AI将启用许多当前不可能的新用例。例如，不同于每天发回200张图像，Ingenuity火星直升机可以使用AI分析这些图像并向地球发送一百万个文本描述，例如，在某个方向有一个干涸的湖床，以及很快。“与今天的图像相比，我们可以通过文本获得更多信息。”最后，对于最前沿的实验性AI技术，衡量成功与否的标准是它们是否可以用于新的科学目的，以及是否可以用于撰写和发表新的论文。“训练和建立模型是有成本的，”他说。谷歌和微软等公司可以随时访问海量训练数据，但在美国宇航局的喷气推进实验室，数据集很难获得，需要博士学位。分析和标记。“在美国国家航空航天局，我们花费10到20倍于商业行业来训练一个新的人工智能模型，”马特曼说。他说，在这里，新技术正在涌现，使NASA能够构建人工标记更少的AI模型，例如，使用生成网络创建合成训练数据。虽然是DeepFakes，但是是为了科学目的。AI衡量及其范围由于没有直接的方法来衡量AI项目的业务影响，公司转而从相关的关键绩效指标或KPI中挖掘数据。这些代理变量通常与业务目标相关，可能包括客户满意度、上市时间、员工保留率等。美国医疗保健提供商AtlanticHealthSystem就是一个很好的例子。该公司高级副总裁兼首席信息官SunilDadlani说，患者是每一个决定的核心。在许多方面，他们通过观察患者护理的改进来衡量AI的投资回报。他说，这些以患者为中心的指标包括更短的住院时间、更短的治疗时间、更快的保险资格验证以及更快的事先保险授权等。另一个涉及使用AI的项目是帮助放射科医生检查扫描结果，在这种情况下，要衡量的KPI是放射科医生被提醒注意潜在异常的频率。“截至2022年4月，我们99%的放射科医生报告使用AI分析了12,000多项研究并触发了近600个警报，”Dadlani说。“这样医生就可以尽快解决潜在的严重问题。”在美国第五大会计师事务所RSM，人工智能投资遵循两条密切相关的路径：帮助员工更好地完成工作的生产力和分析工具，以及客户端的类似工具，该公司的管理咨询、业??务和理查德戴维斯，技术转型团队的合伙人说。例如，与客户合作的RSM可能会被要求从多个系统（包括会计、销售和营销、人力资源、物流）中提取数据，并将所有内容整合到一个仪表板中。戴维斯说，人工智能可以帮助他们加快这一过程，然后人工智能可以用于工作流通过这些系统的情况以及可能存在的挑战和障碍。那么公司如何知道他们的AI是否在朝着正确的方向发展？“首先，我们可以非常清楚地衡量工具的使用情况，”戴维斯说。他没有提供RSM对人工智能项目的投资或投资回报的详细信息，但表示，“随着时间的推移，我们希望看到更有效地提供参与”。他说，增加参与度可以提高生产率。“因此，如果过去我们需要一周才能完成某件事，那么现在我们的目标可能是将它缩短到一天。”以商业利益为重点来衡量人工智能的成功可能是主观的。麻省理工学院人工智能研究科学家兼零售业数据科学家EugenioZuccarelli表示，评估人工智能项目与开发人工智能本身一样是一门艺术。尽管如此，Zuccarelli说，能够解释人工智能对商业的影响仍然很重要。“KPI不应围绕模型本身设置，而应围绕业务和人员指标设置，这应该是项目的最终目标。”否则，很容易挑到一个看似成功但实际上并没有对业务技术指标产生有效影响的项目。Zuccarelli曾在BMW和Telstra担任数据科学职务，他警告不要孤立地衡量人工智能项目的进展。例如，如果AI项目的目标是改进已经因其他原因而得到改进的东西，则需要一个控制组来确定有多少改进实际上是由AI引起的。在金融服务行业拥有多年??经验的VladislavShapiro表示，AI项目的其他有价值的KPI可能是，例如，减少误报或自动删除过多的特权。他还是Costidity的创始人，这是一家专门从事IT安全、身份治理和管理的咨询集团。他最近领导了一项由AI驱动的安全部署，该部署将误报率提高了两倍，并使许多以前的手动流程实现了自动化。“当你向C级管理人员展示这些数字时，他们明白上述所有措施都降低了数据泄露的风险并加强了问责制和治理，”他说。逐步衡量成功全球专业人士SanjaySrivastava是服务公司Genpact的首席数字战略官，他说自动化节省的成本是展示AI项目经济性的最简单、最清晰的方式。但与此同时，人工智能还可以催生新的收入来源，甚至彻底改变企业的商业模式。例如，一家飞机发动机制造商发现，通过使用人工智能，他们可以更好地预测故障并改善物流，并开始提供发动机服务。“对于终端消费者来说，购买飞行里程比购买发动机本身更好。这是一种新的商业模式，因为人工智能的赋能改变了企业的运营方式。”而且，对业务的影响也很明显。因此，为了证明在那段时间对AI的投资是合理的，制造商需要制定一个长期目标，然后将该目标转化为一些可以用其他方式衡量的短期项目。“与其说，‘十年后，我们将改变这个行业’，不如说，‘在第一年，我们开始考虑我们需要储存哪些零件，’你没有颠覆行业的能力，你只需说，‘我们需要正确数量的零件’，这是一个为期一年的项目，旨在优化你的仓库系统并减少你的库存投资。”除了供应链优化之外，其他短期进步措施还包括客户满意度。“比如飞机在孟买滞留五天等待某个零件，客户会感觉到。”与战略愿景接轨那就是面对现实，一些人工智能项目短期内可能会影响利润，但从长远来看，仍然具有重要意义和变革性。例如，一家企业部署了一个客户服务聊天机器人，消除了许多繁琐的任务。Gartner分析师WhitAndrews说：“但聊天机器人也可能不好，因为一些销售人员非常擅长追加销售并希望与人互动，因此组织可能不希望全是机器人。”取决于你想成为什么样的企业。“在某些时候，你必须问问自己，你是不是这样的企业，如果交货搞砸了，客户会打电话询问货物在哪里，然后你与客户互动并试图让他们挑选每月上涨一次。”如果一个组织希望通过展示可衡量的ROI来推动转型，并具有以客户为中心的愿景，则可能会跳过短期利润回报，并转向其他可能更有意义的指标。“一个完全自动化的组织可能会更成功，因为他们的市场份额正在逐渐增加，但你可以开发你的数据，这样你就可以在正确的时间接触到正确的人。如果有什么你可以指出的，话虽这么说，从逻辑上讲，它会让我们的客户更快乐，让我们的员工更成功，所以让我们去做吧。”
