当前位置: 首页 > 科技观察

如何在Windows上搭建和运行Kafka

时间:2023-03-21 16:51:12 科技观察

【.com快译】本文详细介绍了如何在Windows操作系统上配置和启动ApacheKafka服务器。同时,本指南还将提供Java和ApacheZooKeeper的配置和说明。众所周知,ApacheKafka是一个快速且可扩展的消息队列。它能够在读取和写入上下文时处理与各种I/O相关的繁重流量负载。您可以通过链接:http://kafka.apache.org/了解Kafka相关信息和知识。ApacheKafka作为可靠的分布式协调工具,需要一个运行中的ZooKeeper实例(译者注:ZooKeeper是分布式协调服务,为分布式应用程序提供一致的服务接口)。关于ZooKeeper的信息,你可以去https://zookeeper.apache.org/了解更多。相关资源对于下面讨论和涉及的内容,我录制了一个视频(参见https://youtu.be/OJKesEpO6ok),帮助大家通过动手实验在Windows上搭建Kafka。同时,我在GitHub(参见https://github.com/gopal-tiwari)上创建了一系列Spark-Scala实用工具,供大家深入参考和实践。另外,以下是本文涉及的各种文件,需要大家提前准备下载:根据操作系统和CPU架构的不同,可以到http://www.oracle.com/technetwork/java/下载javase/在downloads/jre8-downloads-2133155.html下载服务器的jre。请从http://www.7-zip.org/download.html下载并安装7-zip。请从http://zookeeper.apache.org/releases.html下载ZooKeeper并用7-zip解压。请从http://kafka.apache.org/downloads.html下载Kafka并用7-zip解压。下面假设ZooKeeper和Kafka都已经解压存放在C盘,当然你也可以解压到其他任何位置。另外,考虑到本次实验只会使用单节点的ZooKeeper实例,所以我们只使用没有和Kafka一起打包的ZooKeeper。另外,如果您愿意,可以使用位于kafka\bin\windows目录下的Kafka安装包,其中已经打包了Zookeeper。安装A.JDK安装1.双击JRE安装程序后,您可以单击“安装”,当然还有“更改目标文件夹”复选框。2、JDK默认安装路径为:C:\ProgramFiles\Java\jre1.8.0_xx。不过也可以修改为目标目录如:C:\Java\jre1.8.0_xx,然后点击“Next”。3.现在,您可以通过点击:控制面板->系统->高级系统设置->环境变量来设置与变量相关的系统运行环境。4、如下图,在“用户变量”部分,可以点击“新建用户变量”,然后在弹出的对话框中,“变量名”输入“JAVA_HOME”,在“变量名”中输入自己【变量值】jre所在的路径。(注意:Java的具体路径和版本可能会根据你使用的Kafka版本不同而不同)5.现在点击“确定”。6.在“系统变量”部分,找到并打开“环境变量”对话框。7.现在编辑“路径”。如下图所示,在“变量值”已有文本的末尾,输入“;%JAVA_HOME%\bin”。8、确认是否安装了Java,可以打开“cmd”输入“java–version”。此时,您应该能够看到刚刚安装的Java版本。如果您的命令提示符看起来像上图,那么一切就绪。否则,您需要重新检查您的设置,是否匹配当前操作系统架构(如x86或x64),或者环境变量路径是否正确。B.ZooKeeper的安装1.让我们把目光转向ZooKeeper的配置目录。在这里,我使用的是:“C:\zookeeper-3.4.7\conf”。2.我将文件“zoo_samplep.cfg”重命名为“zoo.cfg”。3、请用记事本等文本编辑器打开zoo.cfg,我这里用的是Notepad++。4、找到“dataDir=/tmp/zookeeper”字段,修改“C:\zookeeper-3.4.7\data”。5.正如我们上面为Java所做的设置一样,我们在系统环境变量中增加了一项。A。将“ZOOKEEPER_HOME=C:\zookeeper-3.4.7”添加到系统变量。b.编辑名为“Path”的系统变量并添加“;%ZOOKEEPER_HOME%\bin”。6.您可以将zoo.cfg文件的默认ZooKeeper端口更改为其他,其默认端口为2181。7.打开一个新的cmd,键入zkserver以运行ZooKeeper。8.您将能够看到带有以下详细信息的命令提示符。您的ZooKeeper现在已启动并在端口2181上运行。C.设置Kafka1。现在请跳转到Kafka的配置目录。这里是C:\kafka_2.11-0.9.0.0\config。2.请编辑文件:“server.properties”。3.找到并找到“log.dirs=/tmp/kafka-logs”这一行,并将其更改为:“log.dir=C:\kafka_2.11-0.9.0.0\kafka-logs”。4.如果您的ZooKeeper需要运行在其他计算机或集群上,请将“zookeeper.connect:2181”更改为目标IP地址和端口号。在这里,我们使用的是同一台机器,因此无需进行任何更改。另外Kafka端口号和broker.id也可以适当配置。其他设置项目请保持原样。5.在本例中,我们的Kafka将在默认端口9092上运行,并将连接到ZooKeeper的默认端口2181。D.运行Kafka服务器重要提示:在启动Kafka服务器之前,请确保您的ZooKeeper实例已启动并正在运行。1、请跳转到Kafka的安装目录,这里是:C:\kafka_2.11-0.9.0.0\。2.按住Shift键并单击鼠标右键打开命令提示符,然后选择“在此处打开命令窗口”选项。3、如下图,输入“.\bin\windows\kafka-server-start.bat.\config\server.propertiesbat”,回车。4.如果一切正常,你的命令提示符会显示如下信息:5.至此,你的Kafka服务器已经启动并运行,你可以继续创建各种topic来存储消息了。此外,您还可以通过Java、Scala代码或直接在命令提示符中生成或使用数据。E.创建主题1.由于只有一台Kafka服务器在运行,我们只需要创建一个名为“test”的topic,复制因子为1即可。当然,如果你有一个运行多台Kafka服务器的集群,也可以相应增加复制因子来提高数据可用性并充当容错系统。2.请在C:\kafka_2.11-0.9.0.0\bin\windows打开一个新的命令提示符。3、如下图所示,输入命令:“kafka-topics.bat--create--zookeeperlocalhost:2181--replication-factor1--partitions1--topictest”回车。F.为测试服务器创建Producer和Consumer1。请在C:\kafka_2.11-0.9.0.0\bin\windows打开一个新的命令提示符。2.请输入命令:“kafka-console-producer.bat--broker-listlocalhost:9092--topictest”启动生产者。3.同时在C:\kafka_2.11-0.9.0.0\bin\windows打开另一个新的命令提示符。4.请输入命令:“kafka-console-consumer.bat--zookeeperlocalhost:2181--topictest”启动消费者。5.以上两个命令提示符的截图如下:6.现在,你可以在制作者的命令提示符中输入你想要的任何内容,然后回车;那么你应该可以看到相同的消息内容。7、可以看到,如果在consumer端可以看到推送的消息,那么就完成了kafka的设置。其他一些有用的命令1.列出主题:kafka-topics.bat--list--zookeeperlocalhost:21812。DescribeTopic:kafka-topics.bat--describe--zookeeperlocalhost:2181--topic[TopicName]3.从头开始阅读各种消息:kafka-console-consumer.bat--zookeeperlocalhost:2181--topic[主题名称]--from-beginning4.删除主题:kafka-run-class.batkafka.admin.TopicCommand--delete--topic[topic_to_delete]--zookeeperlocalhost:2181原标题:SettingUpandRunningApacheKafkaonWindowsOS,作者:GopalTiwari

最新推荐
猜你喜欢