人工智能（AI）和机器学习将成为帮助企业利用其核心数字资产创造竞争优势的最重要工具之一。但在购买人工智能数据存储设备之前，企业必须考虑机器学习平台在获取、处理和保留数据时的一系列要求。我们首先需要了解机器学习软件使用的数据的生命周期，因为这将帮助组织了解在为人工智能选择存储时要考虑哪些因素。一开始，企业必须获取大量数据来训练机器学习或人工智能算法。人工智能软件工具处理数据以学习识别特定对象、处理视频和跟踪运动等任务。数据可以从各种来源生成，并且本质上是非结构化的，例如对象和文件。在训练或开发人工智能算法时，可以通过对数据的处理来开发模型，为企业提供所需的洞察力或收益。开发机器学习算法很少作为一个过程来完成。随着公司积累新数据，算法也会改进。这意味着很少有数据被丢弃，而是随着时间的推移数据迅速增长和重新处理。AI数据存储设备选择标准企业在为AI平台选择存储设备之前，首先要考虑以下几点：1.成本。人工智能数据存储设备的价格是企业的关键因素。显然，高管和参与采购决策的人员希望存储尽可能具有成本效益，并且在许多情况下，这将影响组织的产品选择和策略。2.可扩展性。如上所述，在创建机器学习或人工智能模型的过程中，需要收集、存储和处理大量数据。机器学习算法需要源数据呈指数增长，以实现准确性的线性提高。创建可靠且准确的机器学习模型可能需要数百TB甚至PB的数据，而且这只会随着时间的推移而增加。构建PB级的存储系统，一般需要使用对象存储或者水平扩展的文件系统。今天的对象存储当然可以满足AI工作负载的容量需求，但它们可能无法满足其他标准，例如高性能。横向扩展文件系统可以提供高性能和良好的可扩展性，但将整个数据集存储在一个平台上可能会很昂贵。此外，由于可扩展性需求和大批量产品的成本，块存储通常不是机器学习或人工智能的正确选择。这里唯一的例外是公共云，我们将在后面讨论。存储成本的变化引入了分层存储的概念，即使用多种类型的存储来存储数据。例如，对象存储是存储大量非活动AI数据的良好目标。当数据需要处理时，可以将其移动到高性能的文件存储集群或对象存储中的节点，处理完成后再移回。3.性能。人工智能数据的存储性能主要体现在三个方面。首先，可能也是最重要的是延迟，或者说软件处理每个I/O请求的速度。低延迟很重要，因为改善延迟会直接影响创建机器学习或AI模型所需的时间。复杂的模型开发可能需要数周或数月的时间。通过缩短这个开发周期，组织可以更快地创建和完善模型。在检查延迟功能时，由于对象访问的流媒体特性，对象将参考时间存储为第一个字节，而不是单个I/O请求的延迟。性能的另一个方面是吞吐量，即数据写入存储平台或从存储平台读取数据的速度。系统吞吐量很重要，因为AI训练需要处理大型数据集，通常会重复读取相同的数据以准确开发模型。机器学习和人工智能数据的来源，例如自动驾驶汽车上的传感器，每天可以生成数TB的新数据。所有这些信息都必须添加到现有数据存储中，而对任何现有处理的影响最小。性能的最后一个方面是并行访问。机器学习和AI算法并行处理数据，运行多个任务，这些任务可以在多个并行任务中多次读取相同的数据。对象存储擅长并行读取I/O处理，因为不需要管理对象锁或属性。文件服务器跟踪打开的I/O请求或内存中的文件句柄。因此，活动I/O请求的数量取决于平台上可用的内存。机器学习数据可以由大量小文件组成。在这方面，文件服务器可以提供比对象存储更好的性能。这里要问AI存储解决方案提供商的一个关键问题是，他们的产品的性能特征对于大文件类型和小文件类型有何变化。4.可用性和耐用性。机器学习和人工智能模型可以长时间连续运行。通过训练开发算法可能需要几天或几周的时间。在此期间，存储系统必须保持通电并持续可用。这意味着任何升级、技术更换或系统扩展都需要在不停机的情况下进行。在大型系统中，组件故障很常见。这意味着任何用于AI工作的平台都应该能够从设备（如硬盘或SSD）和节点或服务器故障中恢复。对象存储使用纠删码在多个节点上广泛分布数据，并最大限度地减少组件故障的影响。纠删码技术可用于扩展文件系统以提供相同级别的弹性。纠删码方案的效率非常重要，因为它直接关系到读写I/O性能，尤其是对于小文件。由于大多数大型对象存储都太大而无法定期备份，因此可靠的纠删码成为AI存储平台的基本特征。5.公共云。开发机器学习和人工智能算法需要高性能存储和高性能计算。许多AI系统都是基于GPU的，例如NvidiaDGX，它可用于开发精确算法所涉及的许多复杂数学计算。公共云服务提供商已开始提供可用于机器学习的GPU加速虚拟实例。在公共云中运行机器学习工具可降低构建机器学习开发基础设施的资本成本，同时提供扩展开发机器学习模型所需的基础设施的能力。公有云计算面临的挑战是如何以既经济又实用的方式将数据放入公有云。基于云的对象存储速度太慢，跟不上机器学习的I/O需求；因此，必须使用本地块存储。移动数据的每一分钟延迟都会增加运行基础架构的成本，并延迟执行机器学习。公共云的另一个问题是数据导出的成本。尽管云服务提供商不对向其平台传输数据收费，但他们对从其平台外的公共网络访问的任何数据收费。因此，尽管公共云在计算方面提供了灵活性，但及时且经济高效地从云中获取数据并不总是那么简单。供应商正在开发在公共云中运行的存储产品，涵盖本地和云端。这些产品有效地将数据复制或移动到云端，并且仅在完成后才将结果移回。这些复制技术具有带宽效率，使得在内部存储数据并将其导入云端进行分析变得切实可行。6.整合。在本文中，我们将数据存储与机器学习和人工智能的计算分开。构建AI数据存储可能很困难，因为必须考虑存储网络和调整存储以与机器学习应用程序配合使用的其他因素。产品的预包装使供应商能够在将产品交付给客户之前对其进行测试和优化。如今，存储产品结合了流行的AI软件、计算（例如通用CPU和GPU）、网络和存储来提供AI就绪平台，并且在部署这些系统之前进行了大量详细的调整。虽然成本可能是一个问题，但对于许多客户而言，预打包系统可以降低采用AI存储的障碍。显然，选择合适的AI数据存储平台实际上是在性能、可扩展性和成本等指标之间进行平衡。正确使用存储平台非常重要，因为涉及的数据量非常大。做出错误的选择可能代价高昂。与任何存储产品选择决策一样，重要的是与供应商合作，包括演示和评估，以准确了解他们的产品如何满足人工智能和机器学习的需求。
