当前位置: 首页 > 科技观察

Cloudera凌奇:大数据在中国加速发展

时间:2023-03-15 23:42:19 科技观察

Hadoop自2007年面世以来,在大数据处理领域以其强大的实用性和易用性得到了业界的认可。在Hadoop商业化方面,很多公司在开源的Hadoop系统的基础上,对系统性能、系统可用性、系统可靠性进行了优化。最著名的产品是Hadoop商业发行版CDH(ClouderaDistributionIncludingApacheHadoop)。CDH来自这家名为Cloudera的公司。Cloudera是Hadoop体系的创始组织。在国内,很多人都知道CDH,但很少听说Cloudera。Cloudera中国办公室成立一周年之际,Cloudera大中华区总裁凌奇在北京接受记者采访,谈到大数据的价值以及大数据在中国的落地。Hadoop让数据产生价值“让数据产生价值”。当企业面对越来越多的数据时,他们开始考虑使用数据的价值。数据利用面临四大问题:数据从哪里来,数据存在于何处,数据可用后如何处理,处理后如何使用。目前,挖掘和分析数据的最佳解决方案是部署基于Hadoop的大数据平台。许多公司已经在这样做了。比如电子商务公司。以阿里巴巴为例,一份报告显示,2014年,通过对往年交易的分析,尤其是对用户消费习惯、搜索习惯、浏览习惯等数据的综合分析,阿里巴巴将天猫、淘宝双十一归零遗漏。全天单手成交571亿元。这就是Hadoop的强大和魅力。其实早在2012年,Hadoop就已经在龙头企业广泛应用,比如百度、腾讯、华为、中国移动等公司都在使用Hadoop集群搭建基础设施,CDH的独特价值关于Hadoop的概念,百度百科上有很详细的解释。让我们简单看一下它的架构。Hadoop实现了分布式文件系统,简称HDFS。HDFS具有高容错的特点,被设计为部署在低成本的硬件上;它提供高吞吐量来访问应用程序数据,适用于具有非常大数据集的应用程序。Hadoop框架的核心设计是HDFS和MapReduce。HDFS为海量数据提供存储,MapReduce为海量数据提供计算。Hadoop核心架构ClouderaCDH是Cloudera的100%开源平台发行版,其中包含ApacheHadoopTM,专为满足企业需求而打造。它是目前部署最广泛的Hadoop发行版。CDH之所以能够得到如此广泛的应用,凌奇认为CDH能够保证安全性和高可用性,并且能够广泛地与软硬件结合。“CDH非常适合寻求稳定、经过验证的开源大数据管理解决方案而不被锁定在专有供应商的企业。CDH是企业在使用Hadoop生产环境的同时,还可以从中获得持续创新的独特解决方案。开源社区。”凌琪说道。Cloudera正在大力推广商业版。目前,Cloudera的产品广泛应用于科技、金融、电信、零售、能源、医疗、媒体等行业,甚至与高性能和OpenStack有着很好的结合。在高性能方面,Hadoop用于气象行业。气象需要对云图进行存储和分析,前端计算是分布式的,高性能存储可以放在Hadoop中。在Hadoop与OpenStack的结合方面,备受关注的贵阳云平台建设也推出了Cloudera产品。Cloudera正式进入中国已经一年了。对于Cloudera来说,商业版的推广将是未来的重点。凌奇介绍,现在很多企业都在部署大数据平台,但往往是一个部门自己部署一个,这在企业需要做全球大数据分析时,极为不便。这种情况下可以使用Cloudera的商业版,可以在同一平台升级和管理数据。在中国这个酷爱免费使用的市场,其实也不乏商业版的机会。毕竟市场够大,真正有能力搞定Hadoop的公司并不多。尤其是金融领域对稳定性要求极高的情况下,商业版是他们不错的选择。事实上,Cloudera已经迈出了这一步。今年9月,Cloudera与东方国信达成战略合作伙伴关系,将加速Cloudera商业版的推进。