译者|张毅审稿人|“级别”也一定是一个不错的选择。采用分层系统可以帮助组织为随着时间的推移变得越来越复杂的AI系统进行规划和准备。照片由HiteshChoudhary在Unsplash上拍摄设计和构建人工智能系统绝非易事。传统软件的成本是在部署前的开发过程中，而人工智能系统的大部分成本是在部署后，机器学习模型会随着时间“退化”。设计决策直接影响AI系统的扩展能力，而挑战在于理解AI系统如何随时间变化。在构建AI系统时，评级可以为行为提供参考不同的人工智能系统。根据级别进行分级和权衡可以帮助简化部署后的差异。重要的是要了解什么行为变化ges可能会出现在系统中，并将其纳入系统设计中。以下分层框架概述了系统的每个级别随时间推移的主要差异，这些差异可以在系统的设计和操作中加以利用。不同的系统可以处于不同的级别，全面了解它们的差异可以帮助组织更好地规划和执行。系统的复杂性可以通过其输入(a)、输出(b)和目标(c)的范围来定义。AI等级一般来说，等级越高，成本也会越高。例如，我们设想将一个运行在1级的系统升级到2级，但是随着级别的提高，系统建设的复杂度和成本也会增加。显然，我们的新功能应该从系统行为易于理解的“低”级别开始，然后逐渐提高级别——随着级别的提高，系统的故障案例会变得更难理解。当我们从传统软件（0级）转向全智能软件（4级）时，不同级别的人工智能系统差异很大，极大地影响了系统成本。4级系统基本上可以自行维护和改进，无需内部开发团队的任何工作。升级伴随着权衡。例如，从1级移动到2级减少了持续的数据需求和定制工作，但引入了自我强化的偏差问题。选择升级需要认识到新的挑战，以及在设计AI系统时需要做些什么。在系统升级过程中，其可扩展性、通用性和健壮性都起着关键作用。在做N级的项目时，我们应该考虑达到N+1级的成本和收益，同时应该根据我们的目标设置合适的级别，并知道什么时候需要升级现有的人工智能系统。Level0：Reliable(traditional)Deterministic不需要训练数据，不需要测试数据，不涉及学习的算法都在level0。level0（计算机科学中的传统算法）最大的优点是非常靠谱，只要解决了问题，就是最优解。在某种程度上，很多算法（比如二分查找）都是对数据“自适应”的。我们通常不会将排序算法视为“学习”。学习涉及记忆——系统根据过去的学习改变未来的行为。然而，有些问题很难用预先指定的算法来解决。对于人类难以解释的问题（如语音转文本、翻译、图像识别、语言提示等），很难执行。示例：用于信用卡验证的Luhn算法基于正则表达式的系统信息检索算法，例如TFIDF检索或基于BM25词典的拼写校正注意：在某些情况下，可能需要调整少量参数。例如，ElasticSearch提供了修改BM25参数的能力（例如一键设置并忘记）。Level1：Learning-typeLearned静态训练数据和静态测试数据。您可以在离线环境中训练模型，然后将经过训练的“硬化”权重部署到生产系统中。模型可能会有更新节奏，但模型运行的环境不会影响模型。级别1让您尝试学习和部署任何功能，但训练数据有限。这是一个尝试不同类型解决方案的运动场。此外，对于一些常见问题（例如语音识别），您可以从边际成本递减中获益。Level1的缺点是针对单个用例的定制学习：您需要为每个用例管理训练数据，并且用例可能会随时间发生变化，因此需要不断添加训练数据以保持模型性能。这个代价是无法承受的。示例：自定义文本分类模型SpeechtoText(AcousticModel)Level2：自学习自学习动态+静态训练数据，静态测试数据。级别2是使用系统生成的训练数据改进模型的系统。在某些情况下，数据是独立于模型生成的。因此，我们预计性能会随着时间的推移以及更多数据添加到模型中而提高；在其他情况下，模型干预会增强模型偏差，并且性能会随着时间的推移而变差。为了消除模型偏差，我们需要静态数据集来重新评估模型。这样看来，2级性能似乎会随着时间的推移自动提高。但如果放任不管，系统会随着数据的增长而变得更糟。因为它本质上依赖于静态数据集（一开始就生成了自己模型的训练数据），Level2的系统提升能力有限，解决这个模型偏差非常具有挑战性。示例：朴素垃圾邮件过滤器语音文本模型（语言模型）级别3：自动自主（或自我纠正）动态训练数据、动态测试数据。Level3系统不仅可以改变人类的行为（比如建议一个操作，让用户选择），还可以直接从用户的行为中学习（比如用户的选择偏好）。从2级升级到3级意味着系统的可靠性和整体可实现的性能将显着提高。与2级相比，3级系统可以随着时间的推移而改进。当然，它也更复杂。它可能需要真正惊人的数据量，或者经过精心设计，才能比简单的系统做得更好；但其适应环境的能力也让测试变得非常困难，并可能引发灾难性的恶性循环。例如，测试人员纠正垃圾邮件过滤器——虽然人类只纠正系统做出的错误分类，但系统意识到它的所有预测可能都是错误的（过于敏感），并将自己的预测完全颠倒过来。第4级：智能智能（或全局优化）动态训练数据、动态测试数据和动态目标。第4级是一个既可以与环境动态交互又可以全局优化的系统。例如，AutoSuggest模型不优化当前方法，而是优化一系列事件以达到最佳对话的目标。虽然探索如何实现还有很长的路要走，但Level4的前景确实一片光明。精准定位问题，引入奖惩机制，评估模型的行为，都是重大而艰巨的任务。附：原文链接：https://www.kdnuggets.com/2022/03/level-system-help-forecast-ai-costs.html译者简介张毅，51CTO社区编辑，中级工程师。主要研究人工智能算法的实现和场景应用，了解和掌握机器学习算法和自动控制算法，将持续关注国内外人工智能技术的发展，特别是人工智能技术在智能领域的应用联网汽车和智能家居等领域的实现和应用。
