为企业选择错误的AI存储平台可能会产生严重的后果。因此，人们需要了解可能影响企业AI数据存储策略选择的6条准则。人工智能和机器学习现在是企业利用其核心数字资产创造竞争优势的两个最重要的工具。但在采用人工智能数据存储之前，组织必须根据机器学习平台如何获取、处理和保留数据来考虑一系列要求。首先检查机器学习软件使用的数据的生命周期，因为这可以帮助企业了解在为AI选择存储时应考虑的因素。最初，企业必须获取数据来训练机器学习或人工智能算法。这些是处理数据以学习诸如识别对象、处理视频和跟踪运动等任务的软件工具。数据可以从各种来源生成，并且通常在本质上是非结构化的，例如对象和文件。培训过程获取数据资产并使用机器学习或人工智能软件创建用于处理未来数据源的算法。在训练或开发算法时，AI软件会处理源数据以开发可以产生洞察力或满足业务需求的模型。开发机器学习算法很少是一个单一的过程。随着企业积累越来越多的数据，他们的算法也在不断完善和改进。这意味着很少有数据被丢弃，而是随着时间的推移而增长和重新处理。采用人工智能数据存储的标准在为人工智能平台选择存储之前，企业必须首先考虑以下因素：(1)成本。AI数据存储的价格是企业考虑购买的关键因素。显然，企业管理人员和参与采购决策的人员希望数据存储尽可能具有成本效益，在许多情况下，这将影响企业的产品选择和战略。(2)可扩展性。企业需要收集、存储和处理大量数据以创建机器学习或人工智能模型。机器学习算法需要源数据呈指数增长，以实现准确性的线性提高。创建可靠且准确的机器学习模型可能需要数百TB甚至PB的数据，而且这会随着时间的推移而增加。构建PB级存储系统通常意味着使用对象存储或横向扩展文件系统。现代对象存储可以满足AI工作负载的容量需求，但它们可能无法满足其他标准，例如高性能。横向扩展文件系统可以提供高性能和良好的可扩展性，但将整个数据集存储在单个平台上的成本可能很高。由于可扩展性要求和大容量产品的成本，块存储通常不是机器学习或人工智能的正确选择。唯一的例外是在公共云中。存储成本的变化引入了分层的思想，或者使用多种类型的存储来存储数据。例如，对象存储库是存储大量非活动AI数据的良好目标。当需要处理数据时，可以将其移动到高性能文件存储集群或对象存储中专为高性能设计的节点，然后在处理完成后移回。(3)性能。人工智能数据的存储性能包括三个方面。首先，可能也是最重要的，是延迟。这定义了软件发出的每个I/O请求的处理速度。低延迟很重要，因为改善延迟会直接影响创建机器学习或人工智能模型所需的时间。复杂的模型开发可能需要数周或数月才能运行。通过缩短开发周期，企业可以更快地创建和完善模型。在检查延迟特性时，由于对象访问的流动性，对象将参考时间存储到第一个字节，而不是单个I/O请求的延迟。性能的另一个方面是吞吐量，以及数据写入存储平台或从存储平台读取数据的速度。系统吞吐量很重要，因为AI训练处理海量数据集，通常反复读取和重新读取相同数据以准确开发模型。机器学习和人工智能数据的来源，例如自动驾驶汽车上的传感器，每天可以生成数TB的新数据。所有这些信息都必须添加到现有数据存储中，而对任何现有处理的影响最小。由于涉及的数据量巨大，因此正确设置存储平台至关重要。性能的最后一个方面是并行访问。机器学习和人工智能算法并行处理数据，运行多个任务，这些任务可以多次读取相同的数据并跨越许多并行任务。对象存储在并行读取I/O处理方面表现出色，因为无需管理对象锁或属性。文件服务器跟踪打开的I/O请求或内存中的文件句柄。因此，活动I/O请求的数量取决于平台上可用的内存。机器学习数据可以由大量小文件组成。文件服务器在这方面可以提供比对象存储更好的性能。要问AI存储供应商的一个关键问题是，他们的产品的性能特征在大文件类型和小文件类型之间将如何变化。由于大多数大型对象存储都太大而无法定期备份，因此可靠的纠删码已成为AI存储平台的基本特征。(5)公有云。开发机器学习和人工智能算法需要高性能存储和高性能计算。许多AI系统都基于GPU（例如NvidiaDGX），它可以减轻开发精确算法时涉及的许多复杂数学计算。公共云服务提供商已开始提供可用于机器学习的GPU加速虚拟实例。在公共云中运行机器学习工具可降低构建机器学习开发基础设施的投资成本，同时提供扩展开发机器学习模型所需基础设施的能力。使用公共云计算的挑战是以经济高效且实用的方式将数据导入公共云。基于云的对象存储速度太慢，无法满足机器学习的I/O需求；因此，必须使用本地块存储。移动数据的延迟和机器学习的延迟意味着运行基础设施的成本增加。公共云的另一个问题是数据出口的成本。尽管云计算服务提供商不对将数据移入其平台收费，但他们对从其平台外的公共网络访问的任何数据收费。结果是，尽管公共云提供了计算灵活性，但及时且经济高效地将数据传入和传出云并不总是那么容易。云计算供应商正在开发可以在公共云中运行其产品的存储产品，跨越本地基础设施和云平台。这些产品有效地将数据复制或移动到云中，并且仅在完成后才将结果移回。这些复制技术具有带宽效率，使得在本地存储数据并将其导入云中进行分析变得切实可行。(6)整合。用于机器学习和人工智能的存储需要与计算隔离开来。构建AI数据存储可能很困难，因为存储网络和调整存储必须考虑其他因素才能与机器学习应用程序一起使用。产品的预包装使云计算提供商能够在将产品交付给客户之前对其进行测试和优化。如今，存储产品结合了流行的AI软件、计算、网络和存储设备（如CPU和GPU），以提供支持AI的平台。在部署这些系统之前，已经完成了很多详细的调整。虽然成本可能是一个问题，但对于许多客户而言，预打包系统可以减少采用AI存储的障碍。显然，选择合适的AI数据存储平台需要在性能、可扩展性和成本等方面进行权衡。由于涉及的数据量巨大，因此正确设置存储平台至关重要。选择错误的产品可能是一个代价高昂的错误。与任何存储产品决策一样，企业与云计算供应商交谈以准确了解他们的产品如何满足人工智能和机器学习的需求非常重要。其参与过程应包括演示和评估，作为任何可能的购买决定的前奏。
