Kafka Connect是一个可扩展的数据工具,可在Kafka和其他系统之间传播。它可以简单而快速地通过连接器引入和导出Kafka。
我们正在使用kafka_2.13-2.8.0.tgz您可以自己下载它
解压缩到目录D:SOFTKAFKA_2.13-2.8.0这是我的根目录
修改D:SOFTKAFKA_2.13-2.8.0CONFIG文件夹
zookeeper.properties您需要修改:
Server.Properties需要修改的地方:
在D:Softkafka_2.13-2.8.0binwindows下,我们创建一个新的A.Bat文件内容如下
该命令将启动Zookeeper和其他动物园管理员开始5秒钟,然后开始Kafka
官方KAFKA-MAP:一种美丽而简单而强大的Kafka Web管理工具。
下载地址https://github.com/dushixiang/kafka-d/releases/download/kafkka-map.tgz
UNZIP至D:SOFTKAFKA_2.13-2.8.0KAFKA-MAP
在D:Softkafka_2.13-2.8.0kafka-map中,新的startkafkkamap.bat内容如下:
开始A.Bat
启动startkafkamap.bat
访问http:// localhost:8080/,帐户和密码默认为管理员
看到以下页面成功
添加群集
让我们首先举办官方示例。在此示例中,server.properties用fileStreamSource读取并将其保存到kafka队列
然后使用fileStreamSink消耗并将其保存在server.properties1
D:Softkafka_2.13-2.8.0.0configConnect-Distributed.properties
在d:softkafka_2.13-2.8.0binwindows目录中创建一个aconnect.bat内容,如下:
将获取请求发送到http:// localhost:8083/view状态
查看所有插件http:// localhost:8083/connector-plugins
FileStreamSource将在阅读后将“ D:/soft/Kafka_2.13-2.8.0/config/server.properties”“ Kafka-Config-Topic”。
http:// localhost:8083/连接器
接口返回结果的屏幕截图如下
查看状态
http:// localhost:8083/connectors/load-kafka-config/状态
单击Kafka-Map中的箭头的内容
查看主题内容
FileStreamSink将消耗“ Kafka-config-Topic”队列,并将内容保存到“ d:/soft/kafka_2.13-2.8.0/config/config/server.properties1”“”“”“”“”“”“”“”“”。
http:// localhost:8083/连接器
接口返回结果如下;
运行完成后,您会发现D:SOFTKAFKA_2.13-2.8.0.0CONFIG DIRECTORY具有额外的server.properties1文件,并且文件内容与server.properties相同
http:// localhost:8083/连接器
删除http:// localhost:8083/connectors/load-kafka-config
删除http:// localhost:8083/connectors/dump-kafka-config
在此示例中,我们将使用Debezium MySQL连接器监视MySQL Binlog并将更改保存到Kafka队列中
为了简单地使用专门用于复制的用户,我们不会创建它。我们直接使用root用户
必须配置以下参数
有关一些可选优化参数,请参阅官方文档
https://debezium.io/documentation/reference/2.0/connectors/mysql.html#setting-up-mysql
准备好后,您可以启动MySQL。在这里,我们使用8.0.29的MySQL版本
准备测试库和测试表
下载Debezium集成的Kafka Connect插头-in
https://repo1.maven.org/maven2/io/debezium/debezium/debezium-mysql/2.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0..0..0.t.0.b0.0.b0.0..b0.b0.b0.itsudy.uct.g0.时候,tar.gz.gz.gz.gz.gz.gz.gz.gz.gz.gz.gz.gz.gz.gz.gz.gzz.gz.gz.gz.gz.gz.gz.gz.gzgz.gz.gz.gz.
delaw文件DEBEZIUM-CONFOR-MYSQL-2.0.0.0.0.0.0.ALPHA1-插件
在Connect-Distributed.Properties中配置以下参数。请注意,该路径不应包括Debezium-Connector-Mysql
添加完成后,您需要重新启动kafka并连接
查看启动日志是否已加载插头-in
查看可用的插头-in
将帖子发送到http:// localhost:8083/Connectors
请求文本是连接器配置参数
参考图片
使用Kafka-Map查看数据
查看local8023.test1.demo的数据
再次执行一些SQL测试
插入事件
修改事件
删除事件
删除的墓碑事件
原始:https://juejin.cn/post/7097488935479148558