当前位置: 首页 > 科技观察

人工智能如何提升大数据存储和管理效率?

时间:2023-03-13 04:59:59 科技观察

随着大数据来源的泛滥和企业可用数据量的增加,存储容量规划成为存储管理员的难题。据估计,每天会产生2.5TB的数据。现在,如果按照神经元来计算,那是相当于2.5亿人脑的海量数据。而且,同样的估计表明,全球数据总量的90%是从2016年到2018年生成的。简而言之,每天生成的数据越来越多,这增加了存储工作负载的规模和复杂性。然而,人工智能可以拯救存储管理员,帮助他们有效地存储和管理数据。通过使用AI数据存储,供应商和企业可以将存储管理提升到一个新的水平。而且,存储管理员可以为他们目前难以管理的指标找到解决方案。存储管理员奋斗的关键指标存储管理员在管理存储问题时面临多项挑战。并且,如果他们克服了这些挑战,将有助于他们在数据存储的各个方面找到合适的平衡点,例如将工作负载分配到哪里、如何分配工作负载以及如何优化堆栈等等。一般来说,吞吐量是指处理某事的速率。在网络级别,吞吐量以Mbps(兆比特/秒)为单位进行衡量,而在存储级别,吞吐量以MB/s(兆字节/秒)为单位进行衡量。由于一个字节等于八兆位,因此存储级别的生产率提高了。此外,管理提高的生产率也变得困难。延迟延迟是服务器完成请求所花费的时间。关于存储,这是指满足对单个存储块的请求所花费的时间。存储块或块存储是将数据存储在卷中的块。纯延迟不受吞吐量的影响,但如果单个块请求很大,应用程序延迟可能会随着吞吐量的增加而漂移。IOPS(每秒输入/输出操作数)IOPS是指存储堆栈每秒可以处理的离散读写任务的数量。存储栈是一种允许过程调用的数据结构。这意味着将多个过程彼此相邻地存储在堆栈中,然后在调用和返回的基础上一个接一个地执行所有过程。例如,如果一个过程被调用,它将被执行,然后返回以便在堆栈上调用下一个过程。此外,在谈论IOPS时,底层I/O任务可能会达到存储系统的堆栈限制。例如,读取一个大文件和多个小文件会对IOPS产生影响。由于读取单个大文件只需要一个读取任务,因此可以高速执行,另一方面,读取多个文件非常慢,因为需要执行许多读取任务。AI数据存储如何解决存储问题企业管理员和存储供应商处理各种各样的存储类型。此外,它们还满足不同输入/输出服务的指标。大型文件共享应用程序可能需要适度的吞吐量,但也必须容忍延迟损失,因为大型和复杂的应用程序会对延迟产生不利影响。另一方面,电子邮件服务器可能需要大量存储、低延迟和良好的吞吐量,但它可能不需要非常苛刻的IOPS配置文件。此外,存储管理员应决定应将哪些资源分配给哪些存储。因此,随着组织中运行着数以万计的服务,管理底层存储超出了人们进行合理更改的能力。而且,这就是人工智能算法派上用场的地方。AI驱动的存储管理和规划AI可以监控存储以检测多个工作负载的模式和性能。这里的工作负载是由各种输入/输出功能或应用程序任务生成的数据流。通过检测这些工作负载模式,AI可以帮助存储管理员深入了解哪些工作负载可能会使他们面临最大化存储阵列的风险。此外,存储监控可以帮助查看是否可以在阵列上放置任何额外的工作负载。并且,如果添加到阵列中,工作负载会造成多少中断。例如,假设企业正在向流程中添加电子邮件服务器。在这种情况下,人工智能系统可以帮助预测存储阵列是否能够满足该服务器的存储需求或最大化它。借助此类技术,存储管理员可以主动获取有关如何将不同的工作负载分配到不同的存储堆栈并最大限度地减少延迟的信息。因此,将AI集成到存储阵列、存储供应商和组织中可以优化存储堆栈。除了监控存储活动,存储管理员还需要检查和分析存储系统将使用的应用程序的编码和错误。这有助于他们更好地了解如何围绕应用程序的需求设计存储架构。他们通过了解应用程序的输入/输出模式来做到这一点。最常用的技术是捕获应用程序的踪迹。Strace是Linux的用户空间实用程序,可用于诊断、调试以及获取有关输入和输出功能的说明。然而,这对人类来说可能是一个挑战,因为复杂的应用程序可能具有多个输入/输出功能。另一方面,ML算法可以轻松提取和分析大量数据并解决许多存储问题,最好通过查看存储系统本身来解决。此外,通过使用大量数据训练算法以了解特定堆栈或整个应用程序如何收集和存储数据,它们可以帮助实时了解该特定应用程序的存储活动,以防止堆栈最大化并提高存储容量。满足客户需求的AI数据存储遥测数据是对来自远程或不可访问源的数据的自动记录和无线传输。遥测以下列方式工作:传感器测量来源的数据,将其转换为电压,并将其与定时数据组合成单个数据流,然后传输到远程接收器。接收后可根据用户要求对数据进行处理。AI的计算机视觉技术扫描遥测数据以保护存储阵列免受破坏。当使用有关漏洞的历史数据进行训练时,机器学习算法可以将来自各种应用程序的传入数据与历史数据进行匹配,以发现漏洞的可能性。因此,借助AI的预测分析,存储提供商可以专注于在存储问题影响客户之前预防这些问题。人工智能数据存储仍处于起步阶段,但已经显示出惊人的成果。因此,云提供商和其他存储管理员越来越多地投资于AI,以使用超融合存储系统进行存储维护。采用主流的人工智能数据存储,必将帮助企业控制上述所有指标,为客户提供更好的服务。