企业采用错误的存储AI平台会产生严重的后果，因此需要了解可能影响产品选择和策略的6个注意事项。人工智能和机器学习将是帮助企业利用其核心数字资产创造竞争优势的两个最重要的工具。但在采用AI数据存储之前，企业必须根据机器学习平台如何获取、处理和保留数据来考虑一系列需求。首先，组织需要检查机器学习软件使用的数据的生命周期，因为这可以帮助组织了解在为AI选择存储时应考虑的因素。最初，企业必须获取数据来训练机器学习或人工智能算法。这些是处理数据以学习诸如识别对象、处理视频和跟踪运动等任务的软件工具。数据可以从各种来源生成，并且通常在本质上是非结构化的，例如对象和文件。人工智能训练过程需要使用数据资产，并使用机器学习或人工智能软件创建算法来处理未来的数据源。在训练或开发算法时，AI软件会处理源数据以开发一个模型，该模型可以创造企业需要获得的洞察力或收益。开发机器学习算法很少作为一个过程来完成。随着企业积累新数据，他们的算法不断完善。这意味着很少有数据被丢弃，而是随着时间的推移而增长并被重新处理。采购人工智能数据存储的标准企业在为人工智能平台选择存储之前，首先要考虑以下因素：1.成本。人工智能数据存储的成本是企业的一个关键考虑因素。显然，企业管理层和参与采购决策的人员希望他们的存储尽可能具有成本效益，在许多情况下，这将影响企业的产品选择和策略。2.可扩展性。这里需要强调收集、存储和处理大量数据以创建机器学习或人工智能模型的需要。机器学习算法需要源数据呈指数增长，以实现准确性的线性提高。创建可靠且准确的机器学习模型可能需要数百TB甚至PB的数据，而且这只会随着时间的推移而增加。构建PB级存储系统通常意味着使用对象存储或横向扩展文件系统。现代对象存储当然可以满足AI工作负载的容量需求，但它们可能无法满足其他标准，例如高性能。横向扩展文件系统可以提供高性能和良好的可扩展性，但将整个数据集存储在单个平台上的成本可能很高。由于大容量产品的可扩展性要求和成本，块存储通常不是机器学习或人工智能的正确选择。这里唯一的例外是在公共云中。存储成本的变化引入了分层的想法，或者使用多种存储类型来存储数据。例如，对象存储是存储大量非活动AI数据的理想目标。当需要处理数据时，可以将其移动到高性能文件存储集群或专为高性能设计的对象存储中的节点，处理完成后可以将数据移回。3.性能。人工智能数据的存储性能包括三个方面。首先也是最重要的是延迟。这定义了软件发出的每个I/O请求的处理速度。低延迟很重要，因为改善延迟会直接影响创建机器学习或人工智能模型所需的时间。复杂的模型开发可能需要数周或数月才能运行。通过缩短这个开发周期，企业可以更快地创建和完善模型。在检查延迟功能时，由于对象访问的流媒体特性，对象将参考时间存储到第一个字节而不是单个I/O请求的延迟。存储性能的另一个方面是吞吐量，即数据写入存储平台或从存储平台读取数据的速度。系统吞吐量很重要，因为AI训练处理海量数据集，通常反复读取和重新读取相同数据以准确开发模型。机器学习和人工智能数据的来源，例如自动驾驶汽车上的传感器，每天可以生成数TB的新数据。所有这些信息都必须添加到现有数据存储中，而对任何现有处理的影响最小。由于涉及的数据量巨大，因此正确设置存储平台至关重要。存储性能的最后一个方面是并行访问。机器学习和人工智能算法并行处理数据，运行多个任务，这些任务可以多次读取相同的数据并跨越多个并行任务。对象存储在并行读取I/O处理方面表现出色，因为无需管理对象锁或属性。文件服务器跟踪打开的I/O请求或内存中的文件句柄。因此，I/O请求的数量取决于平台上可用的内存。用于机器学习的数据可以由大量小文件组成。在这方面，文件服务器可以提供比对象存储更好的性能。要问AI存储供应商的一个关键问题是，他们的产品的性能特征在大文件类型和小文件类型之间将如何变化。4.可用性和耐用性。机器学习和人工智能学习模型可以长时间连续运行。通过训练开发算法可能需要几天或几周的时间。在此期间，存储系统必须正常运行并持续可用。这意味着任何升级、技术更换或系统扩展都需要在不停机的情况下进行。在大型系统中，组件故障是正常的，必须这样处理。这意味着任何用于AI工作的平台都应该能够从设备（如HDD或SSD）和节点或服务器故障中恢复。对象存储使用纠删码在多个节点之间广泛分布数据，并最大限度地减少组件故障的影响。纠删码技术可以扩展文件系统以提供相同级别的弹性。纠删码方案的效率非常重要，因为它直接关系到读写I/O的性能，尤其是对于小文件。由于大多数大型对象存储都太大而无法定期备份，因此可靠的纠删码成为AI存储平台的基本特征。5.公共云。开发机器学习和人工智能算法需要高性能存储和高性能计算。许多AI系统都基于GPU（例如NvidiaDGX），它可以减轻开发精确算法时涉及的许多复杂数学计算。公共云服务提供商已开始提供可用于机器学习的GPU加速虚拟实例。在公共云中运行机器学习工具可以减少构建机器学习开发基础设施的投资和成本，同时提供扩展开发机器学习模型所需的基础设施的能力。使用公共云计算的挑战在于如何以经济高效且实用的方式将数据导入公共云。基于云的对象存储速度太慢，无法满足机器学习的I/O需求；因此，必须使用本地块存储。传输数据和执行机器学习的每一分钟延迟都意味着增加运行基础设施的成本。公共云的另一个问题是数据出口的成本。尽管云计算服务提供商不对将数据移动到他们的平台收费，但他们对从他们平台之外的公共网络访问的任何数据收费。因此，尽管公共云在计算方面提供了灵活性，但及时且经济高效地将数据传入和传出云并不总是那么简单。供应商正在开发存储产品以在本地和公共云中运行他们的产品。这些产品有效地将数据复制或移动到云端，并且仅在完成后才将结果移回。这些复制技术具有带宽效率，使得在本地存储数据并将其导入云端进行分析变得切实可行。6.整合。在本文中，机器学习和人工智能的存储方面与计算隔离开来。构建AI数据存储可能很困难，因为存储网络和调整存储必须考虑其他因素才能与机器学习应用程序一起使用。产品的预包装使供应商能够在将产品交付给客户之前对其进行测试和优化。如今，存储产品结合了流行的AI软件、计算、网络和存储设备（如通用CPU和GPU），以提供支持AI的平台。在部署这些系统之前，已经完成了很多详细的调整。虽然成本可能是一个问题，但对于许多客户而言，预打包系统可以减少采用AI存储的障碍。显然，选择合适的AI数据存储平台是性能、可扩展性和成本的平衡。由于涉及的数据量巨大，因此选择正确的存储平台至关重要。选择错误的产品可能是一个代价高昂的错误。与任何存储产品决策一样，重要的是与供应商交谈以准确了解他们的产品如何满足人工智能和机器学习的需求。该参与过程应包括演示和评估，并作为企业采购决策的前奏。
