机构数据平台。大数据平台处理的数据量通常是TB级别，甚至是PB或EB级别的数据，这是传统数据仓库工具无法处理的。涉及的技术包括分布式计算、高并发处理、高可用处理、集群、实时计算等，汇集了当前IT领域的各种流行技术。本文整理了一些大数据平台上常用的开源工具，并按照主要功能进行了分类，方便大数据学习者和用户快速查找和参考。大数据平台的一些常用工具收集了大数据平台常用的开源工具合集，看看你知道的主要有哪些：语言工具、数据采集工具、ETL工具、数据存储工具、分析计算、查询应用、以及运维监控工具等等。以下是每个工具的简要说明。一、语言工具1、Java编程技术Java编程技术是应用最广泛的网络编程语言之一，是大数据学习的基础。Java具有简单性、面向对象、分布式、健壮性、安全性、平台独立性和可移植性、多线程、动态性等特点。它具有极高的跨平台能力。它是一种强类型语言，可以编写桌面应用程序、Web应用程序、分布式系统和嵌入式系统应用程序等，是大数据工程师最喜欢的编程工具。最重要的是Hadoop等大数据处理技术很多都是用到Java的，所以想学好Java。对于大数据，掌握Java的基础是必不可少的。2、Linux命令通常在Linux环境下进行大数据开发。与Linux操作系统相比，Windows操作系统是一个封闭的操作系统，开源的大数据软件受到很大的限制。因此，想从事大数据开发相关的工作，还需要掌握Linux的基本操作命令。3.ScalaScala是一种多范式编程语言。一方面，它吸收和继承了多种语言的优秀特点。要想学好Spark框架，Scala基础是必不可少的。因此，大数据开发需要掌握Scala编程基础！4.Python与数据分析Python是一种面向对象的编程语言，库丰富，使用方便，应用广泛，在大数据领域也有应用，主要用于数据采集、数据分析和数据可视化等.因此，大数据开发需要学习一定的Python知识。2.数据收集工具Nutch是一个用开源Java实现的搜索引擎。它提供了我们运行自己的搜索引擎所需的所有工具，包括全文搜索和网络爬虫。Scrapy是一个为爬取网站数据和提取结构化数据而编写的应用程序框架。可用于数据挖掘、信息处理或存储历史数据等一系列程序。大数据的采集需要掌握Nutch和Scrapy爬虫技术。三、ETL工具1.SqoopSqoop是一个在Hadoop和关系数据库服务器之间传输数据的工具。用于将数据从关系型数据库（如MySQL、Oracle）导入到HadoopHDFS，以及从Hadoop文件系统导出到关系型数据库。学习使用Sqoop对于关系型数据库数据与Hadoop的导入非常有帮助。2.KettleKettle是一个ETL工具集，通过提供一个图形用户环境来描述你想做什么，而不是你想怎么做，它允许你管理来自不同数据库的数据。作为Pentaho的重要组成部分，在国内项目应用中逐渐增多。其数据提取高效稳定。四、数据存储工具1、Hadoop分布式存储与计算Hadoop实现了一个分布式文件系统（HadoopDistributedFileSystem），简称HDFS。Hadoop框架的核心设计是：HDFS和MapReduce。HDFS为海量数据提供存储，MapReduce为海量数据提供计算。因此，需要掌握。此外，还需要掌握Hadoop集群、Hadoop集群管理、YARN、Hadoop高级管理等相关技术和操作。！2。HiveHive是一个基于Hadoop的数据仓库工具，可以将结构化的数据文件映射成数据库表，并提供简单的SQL查询功能，可以将SQL语句转换成MapReduce任务进行操作。与用Java代码编写MapReduce相比，Hive具有明显的优势：开发速度快、人员成本低、可扩展性（可自由扩展集群规模）、可扩展性（支持自定义功能）。非常适合数据仓库的统计分析。对于Hive，您需要掌握它的安装、应用和高级操作。3、ZooKeeperZooKeeper是一个开源的分布式协调服务，是Hadoop和HBase的重要组成部分，是为分布式应用提供一致服务的软件。提供的功能包括：配置维护、域名服务、分布式同步、组件服务等。在大数据开发中，需要掌握ZooKeeper的常用命令和功能。4、HBaseHBase是一个分布式的、面向列的开源数据库。它不同于一般的关系型数据库，更适用于非结构化数据存储的数据库。它是一种高度可靠、高性能、面向列且可扩展的发行版。存储系统、大数据开发需要掌握HBase的基础知识、应用、架构和高级用法。5.RedisRedis是一个Key-Value存储系统。它的出现很大程度上弥补了Memcached等Key/Value存储的不足。在某些场合，它可以对关系数据库起到很好的补充作用。它提供了Java、C/C++、C#、PHP、JavaScript、Perl、Object-C、Python、Ruby、Erlang等客户端，使用起来非常方便。大数据开发需要掌握Redis的安装、配置及相关使用。6.KafkaKafka是一个高吞吐量的分布式发布-订阅消息系统。它在大数据开发和应用中的目的是通过Hadoop的并行加载机制统一在线和离线的消息处理，提供实时消息。大数据开发需要掌握Kafka架构原理，各组件的功能和使用方法，以及相关功能的实现。7.Neo4jNeo4j是一个高性能的NoSQL图数据库，具有大规模处理网络分析能力，可以处理百万级和T级的节点和边。它是一个嵌入式的、基于磁盘的、完全事务性的Java持久化引擎，但它将结构化数据存储在网络上（从数学的角度称为图）而不是表中。Neo4j以其嵌入式、高性能、轻量级等优点受到越来越多的关注。8、CassandraCassandra是一个混合型非关系型数据库，类似于Google的BigTable，主要功能比Dynamo（分布式Key-Value存储系统）更加丰富。这个NoSQL数据库最初由Facebook开发，现在被1500多家企业组织使用，包括Apple、CERN、Comcast、eBay、GitHub、GoDaddy、Hulu、Instagram、Intuit、Netflix、Reddit等，是一种流行的分布式结构化数据库数据存储方案。9、SSMSSM框架是三个开源框架的集成：Spring、SpringMVC、MyBatis。它经常被用作数据源相对简单的Web项目的框架。大数据开发需要分别掌握Spring、SpringMVC、MyBatis这三个框架，然后使用SSM进行集成操作。五、分析计算工具1.SparkSpark是一种为大规模数据处理而设计的快速通用计算引擎，它为管理各种数据集和数据源的不同性质的大数据处理需求提供了一个全面统一的框架。数据开发需要了解Spark基础、SparkJob、SparkRDD部署和资源分配、SparkShuffle、Spark内存管理、Spark广播变量、SparkSQL、SparkStreaming和SparkML。2.StormStorm是一个免费的开源软件，一个分布式的、容错的实时计算系统，可以非常可靠地处理庞大的数据流，用于处理Hadoop批处理数据。Storm支持多种编程语言，应用领域众多：实时分析、在线机器学习、不间断计算、分布式RPC（远程过程调用协议，远程计算机程序通过网络的请求服务）、ETL、等等等等。Storm的处理速度惊人：经测试，每个节点每秒可以处理100万个数据元组。3.MahoutMahout的目的是“创建一个环境，用于快速创建可扩展的、高性能的机器学习应用程序”。主要特点是为可扩展算法、Scala/Spark/H2O/Flink的新算法、Samsara（类似R的矢量数学环境）提供可扩展环境，其中还包括用于MapReduce数据挖掘的众多算法。4.PentahoPentaho是世界上最流行的开源商业智能软件。它是一个基于Java平台的BI套件，专注于工作流，强调面向解决方案而不是工具组件。它包括一个WebServer平台和几个工具软件：报表、分析、图表、数据集成、数据挖掘等，可以说它包括了商业智能的方方面面。Pentaho的工具可以连接到NoSQL数据库。大数据开发需要了解如何使用它。六、查询应用工具1、Avro和ProtobufAvro和Protobuf都是数据序列化系统，可以提供丰富的数据结构类型，非常适合数据存储，还可以在不同语言之间进行数据交换格式的交流。数据，需要掌握它的具体用法。2、PhoenixPhoenix是一个基于JDBCAPI用Java编写的开源SQL引擎，用于操作HBase。具有动态列、哈希加载、查询服务器、跟踪、事务、自定义函数、二级索引、命名空间映射、数据收集、时间戳列、分页查询、跳转查询、视图和多租户特性，大数据开发需求掌握它们的原理和使用方法。3、KylinKylin是一个开源的分布式分析引擎，为基于Hadoop的超大数据集（TB/PB级）和多维OLAP分布式在线分析提供SQL接口。最初由eBay开发并贡献给开源社区。它可以在亚秒级内查询巨大的Hive表。4.ZeppelinZeppelin是一款基于网络的笔记本，提供交互式数据分析。方便您制作数据驱动、交互协作的精美文档，支持多种语言，包括Scala（使用ApacheSpark）、Python（ApacheSpark）、SparkSQL、Hive、Markdown、Shell等5.ElasticSearchElasticSearch是一个基于Lucene的搜索服务器。它提供了一个基于RESTfulWeb界面的分布式、多用户全文搜索引擎。ElasticSearch使用Java开发并根据Apache许可条款作为开源发布，是目前流行的企业级搜索引擎。专为云计算设计，可实现实时搜索，稳定可靠，速度快，安装使用方便。6.SolrSolr是基于ApacheLucene的，是一个高可靠、高扩展的企业级搜索平台，是一个非常优秀的全文搜索引擎。知名用户包括eHarmony、Sears、StubHub、Zappos、BestBuy、AT&T、Instagram、Netflix、Bloomberg和Travelocity。大数据的开发需要了解其基本原理和使用方法。七、数据管理工具1、AzkabanAzkaban是linked开源的一个批处理工作流任务调度器，它由三部分组成：AzkabanWebServer（管理服务器）、AzkabanExecutorServer（执行管理器）和MySQL（关系数据库），可以用于在工作流内按特定顺序运行一组任务和流程，可以使用Azkaban完成大数据的任务调度。大数据开发需要掌握Azkaban的相关配置和语法规则。2.MesosMesos是由加州大学伯克利分校的AMPLab率先开发的开源集群管理软件，支持Hadoop、ElasticSearch、Spark、Storm、Kafka等架构。对于数据中心来说，它就像一个单一的资源池，从物理机或虚拟机中抽象出CPU、内存、存储等计算资源，易于建立和有效运行一个容错、弹性的分布式系统。3.SentrySentry是一款开源的实时报错工具，支持web前后端、移动应用和游戏，支持Python、OC、Java、Go、Node、Django等主流编程语言和框架,RoR，同时也提供GitHub,Slack,Integrations与Trello等常用开发工具。使用哨兵对数据安全管理很有帮助。8、运维监控工具Flume是一个高可用、高可靠、分布式的海量日志采集、聚合、传输系统。Flume支持在日志系统中自定义各种数据发送器进行数据采集；同时，Flume提供了简单处理数据并写入各种数据接收方的能力（可定制）。大数据开发需要掌握其安装、配置及相关使用方法。
