当前位置: 首页 > 网络应用技术

实际战斗Kafka连接器和Debezium mysql

时间:2023-03-08 21:33:24 网络应用技术

  Kafka Connect是一个可扩展的数据工具,可在Kafka和其他系统之间传播。它可以简单而快速地通过连接器引入和导出Kafka。

  我们正在使用kafka_2.13-2.8.0.tgz您可以自己下载它

  解压缩到目录D:SOFTKAFKA_2.13-2.8.0这是我的根目录

  修改D:SOFTKAFKA_2.13-2.8.0CONFIG文件夹

  zookeeper.properties您需要修改:

  Server.Properties需要修改的地方:

  在D:Softkafka_2.13-2.8.0binwindows下,我们创建一个新的A.Bat文件内容如下

  该命令将启动Zookeeper和其他动物园管理员开始5秒钟,然后开始Kafka

  官方KAFKA-MAP:一种美丽而简单而强大的Kafka Web管理工具。

  下载地址https://github.com/dushixiang/kafka-d/releases/download/kafkka-map.tgz

  UNZIP至D:SOFTKAFKA_2.13-2.8.0KAFKA-MAP

  在D:Softkafka_2.13-2.8.0kafka-map中,新的startkafkkamap.bat内容如下:

  开始A.Bat

  启动startkafkamap.bat

  访问http:// localhost:8080/,帐户和密码默认为管理员

  看到以下页面成功

  添加群集

  让我们首先举办官方示例。在此示例中,server.properties用fileStreamSource读取并将其保存到kafka队列

  然后使用fileStreamSink消耗并将其保存在server.properties1

  D:Softkafka_2.13-2.8.0.0configConnect-Distributed.properties

  在d:softkafka_2.13-2.8.0binwindows目录中创建一个aconnect.bat内容,如下:

  将获取请求发送到http:// localhost:8083/view状态

  查看所有插件http:// localhost:8083/connector-plugins

  FileStreamSource将在阅读后将“ D:/soft/Kafka_2.13-2.8.0/config/server.properties”“ Kafka-Config-Topic”。

  http:// localhost:8083/连接器

  接口返回结果的屏幕截图如下

  查看状态

  http:// localhost:8083/connectors/load-kafka-config/状态

  单击Kafka-Map中的箭头的内容

  查看主题内容

  FileStreamSink将消耗“ Kafka-config-Topic”队列,并将内容保存到“ d:/soft/kafka_2.13-2.8.0/config/config/server.properties1”“”“”“”“”“”“”“”“”。

  http:// localhost:8083/连接器

  接口返回结果如下;

  运行完成后,您会发现D:SOFTKAFKA_2.13-2.8.0.0CONFIG DIRECTORY具有额外的server.properties1文件,并且文件内容与server.properties相同

  http:// localhost:8083/连接器

  删除http:// localhost:8083/connectors/load-kafka-config

  删除http:// localhost:8083/connectors/dump-kafka-config

  在此示例中,我们将使用Debezium MySQL连接器监视MySQL Binlog并将更改保存到Kafka队列中

  为了简单地使用专门用于复制的用户,我们不会创建它。我们直接使用root用户

  必须配置以下参数

  有关一些可选优化参数,请参阅官方文档

  https://debezium.io/documentation/reference/2.0/connectors/mysql.html#setting-up-mysql

  准备好后,您可以启动MySQL。在这里,我们使用8.0.29的MySQL版本

  准备测试库和测试表

  下载Debezium集成的Kafka Connect插头-in

  https://repo1.maven.org/maven2/io/debezium/debezium/debezium-mysql/2.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0..0..0.t.0.b0.0.b0.0..b0.b0.b0.itsudy.uct.g0.时候,tar.gz.gz.gz.gz.gz.gz.gz.gz.gz.gz.gz.gz.gz.gz.gz.gzz.gz.gz.gz.gz.gz.gz.gz.gzgz.gz.gz.gz.

  delaw文件DEBEZIUM-CONFOR-MYSQL-2.0.0.0.0.0.0.ALPHA1-插件

  在Connect-Distributed.Properties中配置以下参数。请注意,该路径不应包括Debezium-Connector-Mysql

  添加完成后,您需要重新启动kafka并连接

  查看启动日志是否已加载插头-in

  查看可用的插头-in

  将帖子发送到http:// localhost:8083/Connectors

  请求文本是连接器配置参数

  参考图片

  使用Kafka-Map查看数据

  查看local8023.test1.demo的数据

  再次执行一些SQL测试

  插入事件

  修改事件

  删除事件

  删除的墓碑事件

  原始:https://juejin.cn/post/7097488935479148558