当前位置: 首页 > 科技观察

Hadoop在云环境中找到了理想归宿

时间:2023-03-15 08:49:27 科技观察

【.com快译】虽然相当一部分企业还没有找到更好的Hadoop使用方式,但这并不妨碍他们不断加大对这一领域的投入。根据Gartner的初步估计,2016年Hadoop发行版支出达到8亿美元,比2015年增长40%。遗憾的是,仍然只有14%的企业实际报告了Hadoop部署,仅略高于前一年的10%。一个亮点:Hadoop部署开始转向云端,并在那里找到更大的成功机会。人人都爱Hadoop有些人可能会认为Hadoop已经被Spark或其他大数据基础设施所取代——事实上,这个结论并不准确。根据Gartner的定义,Hadoop的概念涵盖了所有“开源Hadoop相关项目的商业打包和支持版本”。也就是说,除了传统的HDFS和MapReduce,Gartner还整合了YARN、Pig、Hive、HBase、ZooKeeper、Avro、Flume、Kafka、Oozie、Parquet、Solr、Spark、Sqoop等项目。事实上,正如Gartner分析师MervAdrian所说,“这项调查主要针对各种大数据项目。”然而,主流媒体给出的各种大数据Hadoop项目已经被广泛接受的观点是不正确的。正如Gartner指出的那样,企业似乎一直在试验Hadoop,但大多未能将其投入生产:除了2016年Hadoop部署增长缓慢外,部署管道本身也呈现下降趋势。即使从更狭义的Hadoop概念来分析,大数据实践的比重仍然相当有限:总的来说,大数据技术确实引起了很多关注,但未能取得全面成功。走向云环境当然,大数据领域不乏赢家。Hortonworks本季度表现强劲,收入同比增长39%。2016年,公司总收入接近2亿美元,其中1.26亿美元来自其Hadoop平台的订阅收入。然而,它的成功很大程度上归功于对云计算的积极接受。正如该公司在其财报电话会议上所说,近25%的Hortonworks客户在公共云上运行他们的软件,高于两年前的0%。虽然这种云转型趋势可能会给亚马逊网络服务或微软Azure带来更多好处,但这是一个强大的发展趋势,将为大数据行业的每个人带来提振。将Hadoop部署迁移到云的主要驱动因素之一是Hadoop本身的复杂性。考虑到补充和加速Hadoop创新的相关项目不断涌现,主流企业不可能跟上这个步伐。因此,除了谷歌这样拥有雄厚资产的公司外,Gartner表示,其他公司“往往需要使用不成熟或原本不受支持的软件”,以实现最大的数据流分析能力。对此,Gartner也表示,“基于云的交付模式让企业能够更好地拥抱Hadoop生态系统中的各个组件(通常是Apache项目),将Hadoop组件的不断升级留给云提供商。这将使分离和存储和计算的管理更容易。”坦率地说,云是大数据项目的理想归宿。正如AWS产品战略负责人MattWood所提到的,“愿意购买昂贵基础设施的客户已经发现问题的范围和出现的领域正在迅速变化。当他们仍在努力寻找原始问题的答案时,出现了新的业务问题。”也就是说,云不仅可以为大数据技术提供可管理性,还可以帮助其实现产能。但是,如前所述,这一波迁移可能不会为传统的Hadoop厂商带来增量收入。考虑到越来越多的数据开始驻留在亚马逊、微软和谷歌提供的云平台上,或许未来企业会更倾向于直接使用这些平台提供的原生Hadoop服务。原标题:Hadoop在云中找到更幸福的归宿原作者:MattAsay