2020年爆发的冠状病毒突显了快速分析和解释数据的重要性，以及人工智能和机器学习在明智决策中的重要作用。在医学研究机构的疫苗开发中见证了机器学习如何用于挽救生命，推动了所需的数据培训和对AI模型的持续微调以进行实时推理。由于训练有素的模型可以带来更快、更准确的人工智能系统，因此人工智能面临的最大挑战是正确训练其机器学习模型。一个训练有素的机器学习模型必须稳定地摄取大量数据，以便它能够适应和改进。随着训练数据集的增长，学习算法将表现得更好并且变得更加准确。总而言之，数据越多，结果越好。显然，访问海量数据需要大量存储空间，但在这种情况下，并非所有存储解决方案都是平等的。在组织评估如何最好地采用AI/ML应用程序时，他们绝不能忽视过程中的存储基础设施。组织能否成功地从模型训练所需的庞大且不断增长的数据集中筛选并收集可操作的见解，取决于其存储架构是否满足数据管道每个阶段的极端苛刻要求。对象存储对于支持有效机器学习模型必不可少的7个原因无限的可扩展性海量数据需要海量存储，而AI/ML工作负载需要能够随着数据增长而无限扩展的解决方案。传统的文件和块存储解决方案将在数百TB之后达到可扩展性的上限。对象存储是唯一一种可以在单个全局命名空间中无限扩展到数十PB或更多的存储类型。通过随时随地无中断地部署新节点，能够根据需要弹性无缝地扩展是一个巨大的优势。2.内置数据保护定期备份PB训练数据集不仅耗时，而且不现实。按照设计，大多数对象存储系统不需要备份。相反，它们以足够的冗余度存储数据，以便数据始终受到保护。由于对象存储解决方案通常被设计为分布式架构（并行运行的分布式服务器的集合，不需要专门的机器来提供或管理特定服务），所有职责都是分离的，不需要采用中央“控制”“机器。因此，其架构中的单点故障(SPOF)风险为零。分布式对象存储系统具有自我修复能力，可以提供极高的数据持久性。该系统可以配置为容忍多个节点甚至分布式数据中心的故障。3.固有的元数据搜索和分类在构建和训练有效的机器学习模型所需的数据准备阶段，详细的描述性元数据是必要的，这使得轻松标记、搜索、定位和分析数据成为可能。存储架构影响收集元数据的能力。文件和块系统不支持应用程序或用户定义的扩展属性，但对象存储系统提供了独特的方式来使用极其丰富的、可定制的元数据来识别数据。其不受约束的性质使得易于标记、强大且快速的可搜索性以及对大型数据集的高效管理成为可能。4.多租户特性通过多租户隔离工作负载，使多个数据科学家团队可以同时使用同一个数据源，而不会相互影响或争夺资源。旨在为多租户用例提供服务的对象存储系统可以更轻松地从可扩展的、与AWSS3兼容的界面安全地管理租户数据。5.持续的吞吐量性能减少训练时间以最佳速率维持数据管道的能力对于训练机器学习模型至关重要。快速获得结果需要提高基础设施的效率，否则在庞大的数据集上运行的计算将减慢或中断。现代对象存储系统保持高数据吞吐量，此外，可横向扩展以独立地线性增加整体系统容量和性能。这可以通过以存储服务器的形式添加系统资源来实现，这些系统资源可以提供计算（CPU和内存）和容量（闪存和HDD），由存储软件作为单个存储池进行管理。6.AI/ML算法在云端运行无论数据位于何处，与公共云的集成都很重要，尤其是当公共云平台为AI/ML设置时间提供一些现成且有吸引力的工具时。在架构上，对象存储更适合训练和调整机器学习模型，因为对象存储及其事实上的语言——AWSS3API，可以在本地/私有云环境和公共云存储之间无缝访问和移动。最好的对象存储解决方案使用户能够在统一的命名空间中管理基于云的数据和本地数据，消除数据孤岛并允许资源协作和交换而不会损失任何功能。7.低总拥有成本(TCO)专为AI/ML工作负载设计的存储基础设施不仅必须提供容量和性能，还必须提供存储、移动和管理最佳模型训练数据所需的PB级数据成本效益。通过利用标准服务器技术和在单个系统内大规模运行的能力，对象存储可以以传统专有企业存储成本的一小部分来批量交付。软件定义的解决方案可以托管在成本较低的标准x86服务器上，并且可以跨多代硬件发展以降低成本。寻求实现其AI应用程序全部价值的组织必须了解正确培训和微调其机器学习模型的关键性质和潜在挑战。精明的组织在选择正确的存储基础设施时会像对待计算需求一样谨慎。对象存储解决方案为最终提取快速准确的分析见解、挽救生命等提供了最佳基础。
