当前位置: 首页 > 科技观察

多数企业将云视为大数据部署的最佳平台

时间:2023-03-16 23:44:14 科技观察

【.com快译】随着2016年接近尾声,一项新的调查显示,大数据技术在云环境下日趋成熟并快速发展。作为一家基于Hadoop使用OLAP立方体进行商业智能分析的专业公司,AtScale近期对来自77个国家1400家公司的2550多名大数据专家进行了调查。该调查还邀请了Cloudera、Hortonworks、MapR、Cognizant、Trifacta和Tableau参与。来自AtScale的《2016年大数据成熟度调查》发现近70%的受访者有超过一年的大数据技术使用经验(去年这一比例为59%)。76%的受访者目前正在使用Hadoop,73%的受访者表示他们正在将Hadoop投入生产(高于去年的65%)。此外,74%的受访者拥有10套以上的Hadoop节点,而20%的受访者拥有100套以上的节点。“受访者成熟度是这项调查的一个关键因素,”大数据分析师兼《颠覆性分析(Disruptive Analytics)》的作者托马斯·丁斯莫尔(ThomasDinsmore)在周三的一份声明中表示。“目前,五分之一的受访者拥有超过100个节点,74%的受访者已经将相关技术引入生产,与上一年相比是两位数的增长。”表示他们越来越多地转向云环境来考虑托管自己的大数据分析任务。53%的受访者表示他们已经将大数据工作负载部署到云端;而14%的人已将所有数据部署到云端。72%的受访者下一步计划使用云服务进行大数据部署。“很明显,在过去一年中,大数据在云中的使用显着增长,更有趣的是,受访者明确认为数据更有可能在云中产生真正的价值,”MattCTO和合作伙伴表示。AtScale的创始人Baird解释道。Hadoop在外部运行得更好“Hadoop很棘手,”AtScale首席执行官兼创始人DaveMariani补充道。“部署起来非常困难,管理起来也非常困难。我发现大多数客户都不想分心管理他们的Hadoop集群。云环境带来的可扩展性和弹性不仅可以随意添加节点,但也很容易根据需要减少节点,同时使用对象存储机制作为数据存储的持久层,这与Hadoop内部架构完全不同。“虽然大数据技术不断成熟,但其主要工作负载类型也在发生变化。”AtScale营销总监表示,“去年排名第一的工作负载类型是ETL,其次是商业智能,再次是数据科学。”类型已成为商业智能。“商业智能的规模很大,ETL和数据科学在大数据工作负载中仍然占据相当大的比重,但商业智能(BI)在过去一年呈现出不可阻挡的发展趋势。75%支持大数据使用方向以及未来对大数据的预期使用。目前,这种趋势没有减弱的迹象——如果调查结果正确的话。高达97%的受访者表示他们计划在未来使用大数据使用大数据技术来支持业务三个月的智能工作量。尽管围绕Spark进行了大量炒作,但本次调查发现,42%的企业尚未真正使用Spark来实现一些教育目标真实世界的项目。只有三分之一的受访者表示Spark目前占他们开发工作的很大一部分,而25%的人表示他们在开发和生产环境中都部署了Spark。非常兴奋,但实际部署百分比仍然相对有限,”Aziza总结道。“如果你看看这些使用Hadoop技术的计划,你会发现大多数人都有‘我要使用Spark作为引擎’的想法。”。但是一旦你进入Hadoop的真实世界,大多数人更喜欢使用Hive,”Mariani补充道。“你永远不会在ETL管道中使用Spark。Hive在这方面无疑更胜一筹。但同样,我们永远不会在交互式查询领域使用Hive,最好的选择应该是Spark或Impala。“不过,需要注意的是,在生产环境部署了Spark的企业,实际获得价值回报的可能性要高出85%。在大数据技术问题方面,可访问性、安全性和治理成为今年最关心的——同比增长。前三名的问题增长最快。与治理相关的担忧增幅最大,占所有受访者的21%。原标题:Businesseseyecloudforbigdatadeployments原作者:ThorOlavsrud原译者来源是.com]