您的企业准备好在容器中运行AI和ML工作负载了吗？专家表示，在采用之前，需要问一些基本问题。AI/机器学习和容器是当今的两大IT趋势，也是当今许多企业的主要话题。随着企业寻找更好的方法来管理他们的人工智能和机器学习工作负载，他们越来越多地通过越来越多的商业和开源技术走到一起。ISG企业技术分析师BlairHanleyFrank表示：“对于IT领导者来说，最好的消息是，在过去几年中，用于在容器中大规模运行机器学习的工具和流程得到了显着改进。”开源工具、商业产品和教程可帮助数据科学家和IT团队启动和运行这些系统。”在容器中运行AI/ML工作负载：IT领导者及其团队开始深入研究容器之前的6个关键事实在推广之前AI/ML工作负载的基本技术方面，有一些原则需要考虑。这里有六点需要考虑：1.AI/ML工作负载代表工作流与许多其他工作负载类型一样，AI/ML工作负载可以描述为工作流，根据RedHatCTOGordonHaff的工作流。从工作流的角度思考可以帮助阐明在容器中运行AI/ML的一些基本概念。使用AI/ML，工作流需要从数据的收集和准备开始。Haff说，“收集、清理和处理数据后，就是训练模型的时候了，根据训练数据调整参数。模型训练完成后，工作流程的下一步就是部署到生产环境。Fi最后，数据科学家需要监控生产中的模型性能，跟踪预测和性能指标。”Haff在描述这个工作流时并没有低估在人员、流程和环境方面可能涉及的工作量。容器化可以通过带来更高的一致性和可重复性来简化这项工作。“传统上，这个工作流可能涉及不同人员之间的两到三个交接使用不同的环境，”Haff说。然而，基于容器的工作流支持自助服务，越来越多地允许数据科学家负责开发模型和集成到应用程序中。2.与其他容器化工作负载类似的好处根据Autify人工智能和机器学习负责人NaumanMustafa的说法，容器化在AI/ML工作流的上下文中具有以下三个优势：模块化：它使工作流的重要部分，例如模型训练和部署，都是模块化的。这类似于容器化如何在更广泛的软件开发世界中启用更多模块化架构，即微服务。速度：容器化加快了开发/部署和发布周期。人员管理：容器化还可以通过减少跨团队依赖性来简化团队管理。与IT的其他领域一样，容器化有助于减少工作从一个功能组转移到另一个功能组时的“交接”。并忘记”的可能性。虽然机器学习模型可能具有与其他应用程序或服务不同的技术要求和注意事项，但容器化的潜在好处非常相似。AudreyReznik，RedHat改进AI/Machine的数据科学家Reznik以工作负载或解决方案（例如混合云）的可移植性和可扩展性为例，“容器使用的系统资源比裸机或虚拟机系统少，这可以帮助加快部署速度。我喜欢用“你能多快编码”这个短语，因为一旦编码完成，就可以使用容器部署解决方案。3.团队需要保持一致仅仅因为使工作流程更加模块化并不是一切，团队成员需要一起工作。确保您参与在容器化环境中构建和操作机器学习工作负载，”ISG的Frank说。团队成员一起工作。例如，操作工程师可能熟悉运行Kubernetes，但可能不了解数据科学工作负载的具体需求。与此同时，数据科学家熟悉构建和部署机器学习模型的过程，但可能需要其他人的帮助将它们移动到容器或继续运行时。“容器化应该提高一致性和协作，但不要将这种好处视为理所当然。在结果的可重复性至关重要的世界中，企业可以使用容器来民主化对AI/ML技术的访问，并允许数据科学家轻松共享和复制实验4.重点并没有真正改变正如容器化的许多好处对于AI/ML与其他工作负载类型大致相同，运营重点的重要领域也是如此.以下是需要注意的三个操作要求示例，就像其他容器化应用程序一样：资源分配：Mustafa指出，随着时间的推移，适当的资源分配对于优化成本和性能仍然至关重要。如果你分配了太多的资源，随着时间的推移，你会浪费更多的钱；如果分配的资源太少，就会遇到性能问题。可观察性：仅仅因为您看不到问题并不意味着它不存在。“确保您拥有必要的可观察性软件，以了解多容器应用程序的行为方式，”Frank说。安全性：“从安全的角度来看，启用人工智能/机器学习解决方案与在容器中启动其他解决方案没有什么不同。”这意味着诸如应用最小特权原则（对人员和容器本身）、仅使用受信任的、经过验证的容器镜像、运行时漏洞扫描和附加安全层等策略等应该始终是您关注的首要问题5。.容器不会解决所有潜在问题正如自动化不会改进有缺陷的流程（它只会帮助有缺陷的流程更快更频繁地运行）一样，容器化也不会解决企业AI/ML工作负载的根本问题。例如，如果偏差被添加到机器学习模型中，在容器中运行它们将无助于解决这个潜在的严重问题。容器化具有显着优势。这些优势不应该让任何人认为容器化是所有问题的答案。这不仅仅是一个问题不良数据或偏见。容器可以加快工作流程的各个方面，但它们实际上并不能完成所有事情。RaghuKishoreVempati说，Capgemini工程技术总监。“容器非常适合运行AI/ML工作负载。但仅仅将AI/ML工作负载容器化并不能提高模型效率。它只是提供了一种方法来提高与训练模型和推理模型相关的性能。”生产力的方法。”6.在构建与购买之间做出明智的选择与大多数技术选择一样，存在“应该还是不应该？”的问题。将AI/ML工作负载容器化时的决策方面也是如此。与最重要的技术选择一样，选择是有代价的。Autifly的Mustafa说：“容器化的机器学习工作流程会带来一些成本，这对于小型团队来说可能会让人望而却步，但对于大型团队来说，收益大于成本。”ISG的弗兰克说：“IT领导者和他们的团队应该带着明确的目的或理由这样做，但只是因为它可以做到，不要让已经很复杂的情况变得过于复杂。”复杂的。确保容器化机器学习工作负载将提供超越智力活动的商业价值。“如果你走商业或开源路线，你需要确保你有未来的灵活性，因为围绕AI/ML的生态系统正在迅速发展——你自己的策略也可能会改变。”Reznik建议，“企业不要他们的业务依赖于单一供应商，他们需要使用各种开源解决方案，而不仅仅是他们供应商提供的解决方案。各种开源解决方案将为企业团队提供更多创新的可能性”
