?作者:“大数据小禅”
?简介:本文是Kafka集群详细过程的简介,并进行了屏幕截图和消费者测试
Kafka是一个分布式,分区,多个副本,多个订户和由Zookeeper协调的分布式日志系统。主要应用程序场景是:日志收集系统和消息系统。它通常用于大数据方案中的数据缓冲区和循环收集。
在使用消息系统之前,许多传统系统服务通常使用串行或并行方法来处理消息。
例如,您转到网站注册一个帐户,以下是一种串行和并行处理方法。
序列方法:
用户注册示例:用户责任,将注册信息记录到数据库,发送注册消息电子邮件,然后发送注册SMS验证。每个过程为50毫秒。
并行方法:
与串行主义不同,数据库记录注册信息后,发送消息与发送电子邮件的操作同步完成,该电子邮件缩短了用户的等待时间:
消息系统:
消息系统负责将数据从一个应用程序传输到另一个应用程序,因此应用程序可以专注于数据,但不必担心如何共享数据。分布式消息系统基于可靠消息队列的概念。消息队列在客户端应用程序和消息传输系统之间。
1.解压缩安装程序包
在主节点节点上操作。有关详细信息,您可以检查群集的版本以构建系列。我们在这里使用的版本是kafka_2.11-2.4.1。解压缩的方法可以自身定义。
2.修改安装程序包名称
3.输入/app/kafka目录,创建一个日志文件夹
4.修改配置文件(重要)
5.分布式配置安装程序包到集群
6.修改其他簇的配置文件(重要)
在Node2和Node3主机中,修改了先前的KAFKA安装程序包的粘贴以进行修改。主要修改部分是Broker.ID。
7.群集发布
安装Kafka群集后,我们需要测试群集测试以查看是否可用
1.创建主题测试1
2.查看创建的主题列表
3.创建生产者生产数据
4.测试消费者是否可以消耗数据
原始:https://juejin.cn/post/7103382300982791