当前位置: 首页 > 科技观察

替代NAS:非结构化数据云存储的八个关键点

时间:2023-03-21 02:08:17 科技观察

云存储如果要用于存储非结构化数据,需要提供与企业存储系统相媲美的灵活性、性能和生产力。云存储的成本效益、规模和可管理性是即使是最大的企业数据中心也无法比拟的。AWS、谷歌、Azure等超大规模云存储服务商去年降价幅度高达65%,承诺未来将采用摩尔定律定价模式,这意味着价格将一路走低。AWS提供999999999.99%的持久性,这意味着如果您使用AmazonS3服务存储10,000个对象,平均每10,000,000年您将遇到一个对象的丢失。此外,AmazonS3将对象存储在多个数据中心的多个设备上,旨在同时在两个数据中心丢失数据。可悲的是,就在不久之前,云存储还只适用于日常使用的数据,而不适用于实际使用的数据。换句话说,云存储成本低、容量大,但无法提供本地存储所具有的性能。为了使云存储适合存储非结构化数据,它需要提供可与企业存储系统相媲美的灵活性、性能和生产力。成本优势虽然本身很有吸引力,但还不够。为了将云用于活动和非活动数据存储,它必须与已经部署的本地文件管理器相媲美。为了实现这一点,必须满足以下主要要求:*本地缓存:考虑到用户期望类似局域网的文件访问时间,活动数据需要在本地缓存,而非活动数据存储在云端。虽然大多数数据很少被访问并且非常适合云,但活动数据需要保持在用户附近。需要基于文件使用情况、“pin文件夹”或两者结合的机器学习,以确保将适当的文件缓存在本地,同时将不常用的文件带回云端。*全局重复数据删除:全局重复数据删除确保只有一个唯一的数据块存储在云端并缓存在本地。由于数据块通常分布在文件中,全局重复数据删除减少了存储在云中以及在云和本地缓存之间发送的数据量,因为只存储和发送变化的数据块。例如,当ElectronicArts使用云存储来集中和组织数据时,总存储空间从1.5PB减少到仅45TB。在办公室之间传输50GB版本的游戏所需的时间已从多达10小时减少到几分钟,因为实际上只发送了对游戏版本的更改。*类似NAS的响应:文件目录浏览的响应速度必须和本地NAS一样快。为此,不仅活动数据应缓存在本地,而且所有文件的元数据(不仅仅是缓存文件)都必须缓存在所有站点的SSD上。SSD是必不可少的,因为用户可以看到整个文件系统中所有文件的完整表示,即使只有不到5%的文件在本地缓存。当用户上下浏览网络驱动器上的文件和文件夹时,它必须“感觉”到所有这些文件都在那里。由于一些文件元数据通常与文件名一起显示,因此任何文件的文件锁定都必须??是即时的,即使它没有在本地缓存,因此元数据访问应该尽可能快。如果缓存中没有所有文件元数据,用户会认为他们的计算机或网络速度很慢,因为浏览文件夹是最基本的功能之一。*支持“繁重”的应用程序:应用程序跨站点运行与在单个站点上一样流畅。许多技术应用程序(CAD、PLM和BIM)非常繁琐,通常会增加打开、保存或同步文件的时间,从本地NAS上的不到30秒到集中在云中时超过20分钟。大多数人认为这是带宽问题,但实际上是由于应用程序非常繁琐。例如,一个常见的CAD应用程序有近16,000个顺序文件操作需要在打开文件之前执行。如果权威副本在同一局域网上,文件锁定只需要0.5毫秒,因此打开文件需要8秒(16000x0.5毫秒)。然而,繁琐的应用程序在通过WAN运行时可能会导致严重的延迟。如果从圣地亚哥打开位于锡拉丘兹中心的文件,文件锁定需要86毫秒(从圣地亚哥到锡拉丘兹的往返延迟),因此打开文件需要16000x86毫秒——大约22分钟。实际的数据传输只需要不到22分钟的时间。#p#*数据完整性和跨站点锁定。当数据驻留在文件服务器上时,我们只需要担心维护一份一致的副本(只要用户正在编辑文件,文件就被锁定)。当数据驻留在云中但从许多站点访问时,这会发生变化。为避免在使用云存储时文件损坏,您需要两种机制:明确区分云中数据的权威副本和每个站点的本地缓存副本。即使在硬件或电源故障的情况下,“事务一致”的文件系统也能保持文件完整性,而不依赖于文件系统检查或以前的文件版本。这确保了分布式环境中的数据完整性。跨站点工作的细粒度组件级锁定,允许您锁定文件的一部分而不是整个文件。当您跨站点工作时,云不可能成为文件锁定数据的中介。站点之间需要直接连接,确保数据完整性,并保持有效的字节级锁定。*比本地更好的安全性:寻找四个安全功能,即跨文件系统加密、安全密钥管理(密钥永远不应发送到或存储在云端)、与其他安全工具集成的锁管理以及符合相关安全标准例如FIPS140-2。*切换提供商的灵活性:您永远不知道什么时候可能需要切换云提供商,还记得Nirvanix吗?您可能想使用两个云提供商,实际上一个作为辅助站点。全局文件系统应该支持这两种情况。许多公司已经在使用云作为多个站点的主要存储。例如,C&SCompanies和Mead&Hunt都支持云端的AutodeskRevit和CAD文件,供分布式项目团队使用;ElectronicArts在40个站点运行其密集的软件开发应用程序,文件数据驻留在云存储中;MilwaukeeElectricTool使用云服务来存储其所有文件,但动机是需要在美国和中国之间就CAD和视频文件进行协作。许多复杂的应用程序和数据将继续需要本地SAN或NAS,或者运行类似于本地SAN或NAS的系统。数据完整性、应用程序类型、文件大小或复杂性以及其他问题意味着某些数据需要保留在组织内。但传统存储的高成本和不灵活——尤其是当应用程序数据在多个办公室之间共享时——阻碍了许多公司的发展。找到满足本文概述的上述要求的云存储解决方案将有望让云保持主要存储解决方案的地位;到目前为止,云主要扮演的角色是灾难恢复、备份和归档。原标题:用云存储替换你的NAS:8个关键要求