当前位置: 首页 > 科技观察

你应该知道的12个大数据趋势

时间:2023-03-15 21:08:59 科技观察

最近几周,大数据领域动作频频。初创公司和老牌公司发布了新产品,更新或改进了现有产品线,并达成了战略合作关系。行业观察人士表示,许多公司正在试验阶段的大数据系统,尤其是那些与Hadoop平台集成的系统,并将它们部署到更广泛的生产环境中。本文中介绍的新闻主要旨在帮助公司实现这一转变。以下是引起我们注意的12大数据相关趋势。其中许多来自最近在加利福尼亚州圣何塞举行的2016年Hadoop峰会。Actian发布VectorH5.0数据库Actian首席营销官TonyKavanaugh(左图)与Actian合作伙伴销售副总裁戴夫舒格曼(DaveSugarman)在最近的2016Hadoop峰会上聊天。Actian本周发布了ActianVectorinHadoop(VectorH)5.0,这是该公司的SQL-in-Hadoop数据库的新版本,现已与ApacheSpark集成。当与Spark集成时,可以获得来自不同数据源和不同格式的数据,允许开发者使用VectorH构建高性能数据流、ETL和机器学习等应用程序。当组织将Hadoop分析系统迁移到生产环境时,这种类型的功能至关重要。Actian还吹捧VectorH的更高性能,声称它优于ApacheHive、ClouderaImpala、ApacheSparkSQL和ApacheHAWQ等竞争技术,并引用了TPC-H查询基准测试的结果。Hortonworks分发AtScale的BI-on-Hadoop软件。AtScale开发了AtScaleIntelligentPlatform,它使常用的业务分析工具能够访问存储在Hadoop集群中的数据。在Hadoop峰会上,Hadoop软件开发商Hortonworks表示,从今年第三季度开始,它将转售AtScale的软件,作为其围绕Hortonworks数据平台的软件解决方案套件的一部分。AtScale首席执行官DaveMariani表示,鉴于Hortonworks的市场地位,这种关系将为AtScale提供一个重要的软件销售渠道。“我们认为新业务有很大的潜力,”他告诉CRN。Attunity推出VisibilityForHadoop系统大数据管理软件开发商Attunity发布了其最新版本的VisibilityforHadoop系统,以帮助管理员回答以下问题:谁在访问Hadoop数据,他们如何使用它,以及什么样的IT过程中正在使用资源。这些答案对于在基于Hadoop的数据湖生产环境中管理数据增长和工作负载性能至关重要。新版本提供更全面的分析能力,帮助企业组织衡量Hadoop数据和存储使用情况,以实现更准确的容量规划,优化成本效益,满足数据治理和合规性要求。新特性支持Hadoop文件系统的存储类,也支持许多Hadoop数据处理引擎,包括MapReduce、Tez、Hive和ClouderaImpala。DataguiseDgSecure6.0Dataguise发布了新版本的DgSecure软件,这是一个以数据为中心的安全平台,数据经理和首席信息安全官可以使用它来管理传统关系数据库和大数据平台中的敏感数据。DgSecure6.0兼容广泛的数据平台和来源,支持本地和云端系统中的结构化、半结构化和非结构化数据。它为数据治理提供数据检测、保护和监控功能。它还与更广泛的IT和数据管理框架兼容。新版本还简化了使用内置和自定义模板制定数据治理策略的工作。Hortonworks发布HDP2.5预览版Hortonworks将在今年第三季度发布其旗舰HortonworksDataPlatform软件的下一版本,这与该公司今年早些时候承诺的基于ApacheHadoop的软件将遵守的“快速发布”时间表一致.HDP2.5通过对ApacheRanger和ApacheAtlas的单独支持增加了系统的安全和治理功能。还支持ApacheZeppelin,这是一个基于Web的笔记本,用于使用SQL、Scala、Python和其他开发语言创建交互式分析文档。HDP2.5还集成了最新版本的ApacheAmbari,用于规划、安装和配置Hadoop系统。Hortonworks还宣布了其Partnerworks合作伙伴计划的增强版,增加了旨在招募托管服务提供商并为ISV和ISV合作伙伴提供服务的计划。Koverse2.0加速数据湖落地StartupKoverse提供“一体化数据湖”平台;该公司表示,与当前的技术和方法相比,通过该平台可以大大加快大数据的收集和部署到生产环境的速度并降低成本。该公司成立于2012年,两年多前开发了该技术的早期版本。KoversePlatform2.0于6月21日发布,使用ApacheAccumulo的“分布式键/值存储”技术和该公司的通用索引引擎。美国国家安全局前数据科学家PaulBrown(首席产品官)和AaronCordova(CTO)的联合创始人帮助开发了最初的Accumulo项目,该项目重新构建了该部门的数据基础架构,以更好地处理意外的数据分析情况。现在,他们将这种专业知识带给Koverse客户。Looker更新嵌入式分析工具集Looker商业智能平台可以访问驻留在数据库或云中的数据。该公司的PoweredbyLooker工具允许开发人员将这些功能嵌入到应用程序中,或构建具有数据探索和分析功能的自定义应用程序。本周,该公司更新了PoweredbyLooker,添加了预制应用程序模板、预制Web和应用程序小部件库、增强的API库以及许多新功能,例如支持Javascript对话,这使得更容易将Looker嵌入程序内部的应用程序中。PepperdataHadoopHealthCheckPepperdata开发软件来管理和提高Hadoop集群的性能。该供应商推出了Hadoop健康检查计划,该公司使用软件对至少100个节点的Hadoop集群进行补充评估。该软件收集和分析Hadoop性能数据,该公司开发了诊断报告,可以查明有问题的用户或消耗过多IT资源的任务,识别未充分利用的集群资源,并识别处理瓶颈。标出来。Talend发布更新的大数据集成平台Talend发布了新版本的TalendDataFabric平台,用于集成驻留在本地或云端的数据和应用程序。新版TalendDataPreparation软件是DataFabric系统的一部分,为广泛的业务用户提供增强的自助式数据准备功能,而不是像许多数据准备工具那样将他们局限于一小部分熟悉数据的用户做。用户。该公司表示,该工具集提供了更直观的数据准备功能和基于角色的共享数据存储访问。TalendDataMapper中的新功能可以帮助企业更轻松地处理庞大的数据集以识别数据模式并寻找新的商机,从而更好地利用其企业数据湖的运营价值。TalendDataFabric还在TalendIntegrationCloud和AmazonRedshift中的数据集成任务之间添加了安全套接字层通信。Teradata发布技术以支持PrestoEnterprise数据仓库开发商Teradata已发布技术以支持来自许多大数据分析软件开发商的PrestoSQL-on-Hadoop软件。Presto最初由Facebook开发,是一个开源分布式查询引擎,可以针对各种数据源运行交互式查询,包括ApacheHive、ApacheCassandra、Hadoop分布式文件系统、关系数据库,甚至专有数据存储系统。Teradata的Presto发行版是开发人员Teradata统一数据架构的一部分。支持TeradataPresto的软件开发商包括:Tableau、Looker、InformationBuilders、Qlik和Zoomdata,以及MicroStrategy和Microsoft正在努力证明他们的商业智能工具与该软件兼容。WaterlineData软件支持ApacheAtlasWaterlineData开发了同名的智能数据目录软件,该软件清点数据湖资产、改进数据发现并使公司更容易从这些资产中获取价值。智能数据目录现已与Hortonworks数据平台中的开源数据治理技术ApacheAtlas集成。借助Waterline智能数据目录,ApacheAtlas用户可以用自动化流程代替手动元数据标记,以对数据湖资产进行分类并改进数据治理。Zoomdata的可视化分析软件支持MapR和ApacheDrillZoomdata提供了一个大数据可视化分析平台,可以实时处理本地和云环境中的大型复杂查询。Zoomdata的软件现已通过认证与基于Hadoop的MapR融合数据平台兼容,两家公司正在合作改进产品集成和支持。作为合作伙伴关系的一部分,Zoomdata表示它开发了一种“智能连接器”,可以将其软件与ApacheDrill原生连接,ApacheDrill是一种开源SQL查询引擎,可以访问各种NoSQL数据库和文件系统中的数据。