随着物联网的发展,一个领域正在逐渐发生变化,那就是数据存储市场。万物互联产生的数据呈指数级增长。如何存储和管理这些数据是每个企业成功的关键因素。引用市场研究公司IDC的数据,到2025年,全球将有55.9B台连接设备,其中75%将连接到物联网平台。届时,连接设备产生的数据将从2019年的13.6ZB增长到79.4ZB。ZB是什么概念?例如,如果将一个1ZB的文件放入一个1TB的硬盘中,则需要大约10亿个硬盘,足以绕地球两圈半。特别是视频数据的存储需求将迅速扩大。以亚太地区为例,2025年物联网设备视频数据规模将达到26680EB,五年复合年增长率为23.2%。除了视频数据,来自工业互联网的数据也将占据很大份额。如何可靠、安全、快速、经济地存储如此海量的数据,是众多企业探索的方向。随着区块链的发展,去中心化存储逐渐升温。近期,京东云和华为云率先开始了新的尝试。在智慧园区场景中,某地华为云服务器集群将引入去中心化存储技术IPFS建设,拟投资4亿元。京东智联云还推出无线宝智能终端,定位于家庭场景、去中心化存储、区块链和数字资产管理基础设施。因此,在这篇文章中,我们将谈谈去中心化存储的最新进展:什么是去中心化存储?有哪些值得关注的去中心化存储实现技术?去中心化存储有哪些误区需要避免?1、什么是去中心化存储?一切可以去中心化的都会去中心化。存储即服务的商业模式由来已久。Amazon于2006年开始推出AmazonWebServices(AWS),将自己的服务器和存储空间出租给用户,降低了开发者创建和管理服务器基础设施的成本。2013年至2017年的五年间,全球云存储市场保持了20%以上的高复合增长率,而国内云存储市场增速保持在85%-110%。根据多家机构的预测结果,预计2022年全球云存储市场规模将达到1000亿美元以上。随着时间的演进,虽然中心化存储服务功能不断完善,价格也越来越亲民,他们近年来遇到了瓶颈,例如频繁的数据泄漏,服务限制和运营商中断的风险。于是,去中心化存储的概念逐渐兴起。需要注意的是,中心化或去中心化存储并不仅仅是描述一种技术,更多的是对应一种存储商业模式。存储市场的商业组织形式可分为中心化存储和去中心化存储:中心化存储是将数据完全存储在中心化组织开发的服务器上,设备服务器与存储提供商之间是一对一的关系。一。去中心化存储是将数据切片分散存储在多个独立的存储提供者上,设备服务器和存储提供者之间是一对多的关系。去中心化存储是一种存储业务模型,它利用分布式存储技术将文件或文件集分片存储在不同供应商提供的磁盘空间上。其价值主张是强大的隐私保护、低成本、数据冗余备份以及开源应用程序和算法。只有实现了上述所有命题??,才能大规模替代现有的中心化存储方案。大家可能已经看到,去中心化存储正是为了在更去中心化、更不安全、更不可信的网络环境中满足更安全、更可信、更可控的存储需求。有利于避免单点故障,实现数据的价值传递。在实现上,将一个大文件上传到中心化存储系统后,将文件整体或分片存储在单个或分布式网络或服务器上,需要极其高效的开发和运营团队来维护其运行。去中心化存储必须使用分布式存储技术。初始种子节点(最初拥有完整文件资源的节点)对大文件进行切片生成多个子块。每个子块存储在不同的节点上。每个通用节点下载一个子块并将其上传到去中心化存储网络。其他节点下载后,成为本子区块的种子节点。如此循环往复,不断扩大文件在共享网络中的节点数量。为了实现去中心化的商业模式,去中心化存储的实现必须分为两个部分:存储技术和激励机制。存储技术相对成熟,有多种分布式存储方案可供选择。激励机制由区块链技术提供。在去中心化存储中,网络规模对性能影响很大。如何让每个人都愿意贡献存储和网络资源?如何保证这些存储资源的稳定可靠运行?这一切都需要通过区块链技术来实现。与中心化存储不同,去中心化存储主要有三个特点:(1)开源算法:去中心化存储平台或网络的算法和代码必须是开源的。B2C存储服务已经被中心化存储所占据。开源项目早期,进入门槛比较高,大多集中在B2B端。只有开源代码才能对社区和应用的完善形成有效的正反馈作用。如果算法和代码不公开透明,存储网络就会变相中心化。(2)计费优势:去中心化存储的成功因素之一是计费优势。由于中心化存储系统和去中心化存储系统在存储和检索方式上的差异,两者在服务费定价上存在差异。集中存储系统的收费标准以月、季或年为单位,根据存储数据文件的大小收取存储费,并实施一定的促销策略(免费试用期等)仓储费。由于去中心化存储网络平台大多处于项目运营初期,产品大多处于开发阶段或MVP阶段,需要以低存储费用吸引用户流量。但是,相对于中心化相对固定的服务费,去中心化存储除了存储费之外,还有检索费、手续费、交易费。因此,去中心化存储只适用于冷数据存储,在检索数据量较小的情况下,其成本远低于中心化存储。对于热点数据,由于检索频繁,其成本可能高于中心化存储。(3)安全和隐私保护:增强安全性和用户隐私保护是去中心化存储的重要价值主张。去中心化存储的优势主要体现在两个方面:第一,去中心化存储避免了单点故障和部分节点断开或不可用等风险;其次,去中心化存储使得用户的特定存储内容独立于主观泄露是有原因的。由于去中心化存储的共享网络是P2P网络,而中心化存储的共享网络是以服务商为中心的中心化网络,前者不易受到单点故障和服务器掉线的影响,也不易受到攻击黑客。同时,去中心化存储利用零知识证明、非对称加密等技术,将哈希加密的字符串放在区块底部,这样存储内容的分片就可以加密,其他节点,包括运营商,可以看到存储的具体内容。就现状而言,去中心化存储处于起步阶段,与中心化存储在存储空间来源、带宽来源、安全性、使用方式、行业发展现状等多个维度存在差异。目前其规模和性能远不如中心化存储系统。2.值得关注的去中心化存储实现技术有哪些?去中心化存储的实现技术很多,质量参差不齐。典型的有BitTorrent、IPFS、Lambda、Sia、Swarm、Storj、Chronicle、MaidSafe等,它们可以追溯到本世纪初的点对点文件存储系统。让我们从您最熟悉的开始。(1)BitTorrent最早的点对点文件存储系统是作为中心化云服务器的替代品出现的,没有中心化的风险。在亚马逊的云存储服务出现的五年前,BitTorrent(简称BT)就已经允许用户之间高效地传输文件。说到BT下载,相信很多人都知道并用过。因为很多电影都是通过BT种子传播的。2003年,软件工程师BramCohen发明了BitTorrent协议,也就是我们常说的BT下载。BT主要采用高效的软件分发系统和P2P技术共享大文件,然后为每个用户重新分配节点,提供上传服务。通过这项技术,不仅可以让用户享受到更快的下载速度,还可以让运营商大大节省服务器带宽成本。BitTorrent虽然是最早的去中心化存储项目,但由于缺乏完善的激励机制,只能称为去中心化存储模型的雏形。(2)IPFSIPFS的全称是InterPlanetaryFileSystem,中文意思是“星际文件系统”,旨在打造一个持久化、分布式存储和共享文件的网络传输协议。IPFS想要建立一个真正的点对点的、去中心化的基于BitTorrent的文件存储系统。在IPFS中,所有文件都将集中,将有一种通用语言,所有用户将在整个系统中共享,这允许他们相互查找和传输文件。这里特别说明一下,IPFS不仅仅是存储,更重要的是要颠覆HTTP。IPFS本质上是一种底层的开源文件传输协议,旨在补充甚至替代基于HTTP的URL检索协议。IPFS于2015年1月由ProtocolLabs发布。ProtocolLabs的创始人兼首席执行官名叫JuanBenet。2012年毕业于斯坦福大学,获得计算机科学硕士学位,并参与了YCombinator项目。据IPFS官方消息,IPFS已经应用于100多个场景。不仅京东、华为在部署IPFS,微软、谷歌、火狐等也纷纷加入IPFS应用。从这个方面可以看出IPFS的发展非常迅速。未来,无论是文字、图片,还是视频,用户想要存储的各种内容,都可能通过IPFS实现。(3)LambdaLambda是一个区块链数据存储基础设施。通过LambdaChain和LambdaDB的逻辑解耦和分离实现,以及去中心化应用,提供无限可扩展的数据存储能力,实现多链数据协同存储、跨链数据管理、数据隐私保护、数据持有证明、分布式智能计算等服务。Lambda本质上是IPFS项目的延伸和扩展,通过引入创新机制降低了使用门槛,但仍然不利于家庭用户参与去中心化存储。(4)StorjStorj是基于以太坊的分布式云存储协议,由营利性公司StrojLabs开发。Storj的核心技术是一个可执行的、点对点的存储合约,即两个人(或计算机)在彼此不知情的情况下同意使用一定数量的存储来获取收益。StorjLabs的营利性方面是将其网络出租给成千上万的用户并收取使用费。这是一个稍微更集中的模型,与Dropbox和GoogleDrive等竞争。他们还与MicrosoftAzure建立了合作伙伴关系,以部署他们的一些开发工具。(5)SwarmSwarm也是基于以太坊,提供分布式存储平台和内容分发服务。参与者可以有效地集中存储和带宽资源,为网络中的所有参与者提供服务。作为回报,他们将获得一部分以太坊奖励。从端点的角度来看,Swarm与互联网没有太大区别,只是上传操作不发生在Swarm中的特定服务器上。(6)SiaSia是Nebulous开发运营的基于区块链的去中心化云存储平台。Sia将数据拆分、加密,并通过其去中心化网络分发拆分和加密的数据。Sia可以让用户“租用”自己闲置的硬盘空间,从而大幅降低用户云存储的开销成本,因此很多人将Sia称为硬盘界的Airbnb。Sia是完全私密的,没有私钥就无法查看数据文件。(7)Chronicle去年9月宣布,Chronicle是IOTA基金会推出的一种新的数据存储解决方案,它允许其节点所有者轻松存储所有交易并保持对数据的不间断访问。IOTA是为物联网设计的革命性的新型交易结算和数据传输层。它基于一种新型的分布式账本Tangle(缠结)。Chronicle允许节点所有者存储Tangle的所有数据并在需要时快速访问它。近日,IOTA基金会发布了去中心化存储框架Chronicle的Alpha版本,改进了部分功能,将能够在Tangle上构建更多的工业用例。(8)MaidSafeMaidSafe的目标是用完全去中心化的架构取代互联网昂贵的数据中心,建立一个全世界任何人都可以访问的去中心化存储平台。Maidsafe的工作机制有点像蚂蚁网络。一只蚂蚁非常脆弱。当它与其他蚂蚁合作时,它可以成为一个特定的蚁群,并捕获更多更大的猎物。在Maidsafe中,每个用户都是网络参与的一部分,需要贡献一部分硬盘空间,不需要中间服务器和数据中心网络。可以说它的野心更大,有望打造一个完全去中心化、不依赖传统网络的分布式存储系统。3、去中心化存储有哪些误区需要避免?如果要建立去中心化存储的商业模式,首先必须在价值主张和性价比上超越中心化存储方式。其次,还要注意区分去中心化存储和分布式存储。误区一:IPFS和Filecoin没有区别。Filecoin最近的热度堪称是2020年以来最高的。虽然Filecoin经常和IPFS一起出现,但它们是两个项目。IPFS解决技术问题和标准问题,而Filecoin解决关系问题和激励问题。自2015年1月发布以来,IPFS多年来一直平稳运行。目前,IPFS上有数百个应用程序,全球有数百万个节点。谷歌、京东等企业已经开始使用IPFS技术。Filecoin是一个区块链项目。自2018年6月宣布主网上线以来,经历了数次延迟,其表现也饱受诟病。华为云和京东云都投资了IPFS相关技术,但合作中并没有提到Filecoin。引用《Filecoin大空头:易崩盘、估值高、政策风险大》文章中的观点,华为云和京东云对IPFS的应用,不仅对Filecoin不利,反而会吞噬Filecoin市场。根据文章分析,京东无线宝要做的事情其实和Filecoin的应用非常相似。与上线时间不长的Filecoin主网相比,京东拥有三大优势:电商商城流量、京东金豆隔离风险、技术成本优势。Filecoin能做的,IT和互联网公司已经开始做,而这些巨头做不到的是Filecoin可以大展拳脚的地方,但充满风险和陷阱,尤其是政策风险。从估值的角度来看,Filecoin要高得多。去年第四季度,百度云占国内云市场的8.8%。近期,高盛对整个百度云板块(小度智能音响+百度云)的估值为400亿元人民币。然而,Filecoin在没有数据和内容的情况下,市值高达2000亿元。Filecoin的高估值显然不利于去中心化存储商业模式的建立。误区二:没有去中心化存储和分布式存储的区别。去中心化存储更多的是描述一种商业模式。分布式存储是去中心化存储的技术实现。分布式存储技术采用可扩展的体系结构,利用多台存储服务器分担存储负载,利用位置服务器定位和存储信息,解决了传统集中式存储系统单台存储服务器的瓶颈问题,提高了系统的可靠性.可用性和可扩展性。无论是中心化存储还是非中心化存储,两者的技术实现通常体现在分布式存储上。由于设备服务器和存储提供者是一对多的关系,即一个存储提供者可以控制多个存储节点,所以去中心化存储必须使用分布式存储技术。然而,集中式存储可能会或可能不会使用分布式存储技术。最后,总的来说,中心化存储在市场上占据主导地位,处于成熟阶段;去中心化存储还处于起步阶段,技术架构和体系还不成熟。存储市场的总收入已超过130亿美元。2019年上半年,中心化存储形成了寡头垄断的竞争格局,由戴尔科技、新华三、IBM、联想、华为等巨头主导,前10名中心化存储企业市场份额达到62.9%。一些去中心化存储项目如BitTorrent、IPFS等还处于开发阶段,进展比较缓慢。即使是发达的Sia和Storj,总存储空间也只有2PB,实际使用的空间也只占全网总存储空间的不到40%,与中心化存储的收益相去甚远。去中心化存储和区块链技术的结合是混合的。区块链可能成为助推器或泡沫机。本文总结去中心化存储是一种存储业务模型,它利用分布式存储技术将文件或文件集分片存储在不同供应商提供的磁盘空间上。去中心化存储的实现技术很多,质量参差不齐。典型的有BitTorrent、IPFS、Lambda、Sia、Swarm、Storj、Chronicle、MaidSafe等十余种。如果要建立去中心化存储的商业模式,首先必须在价值主张和性价比上超越中心化存储方式。其次,还要注意区分去中心化存储和分布式存储。总体而言,中心化存储在市场上占据主导地位,处于成熟阶段;去中心化存储还处于起步阶段,技术架构和体系还不成熟。
