当前位置: 首页 > 网络应用技术

麦克斯韦收集binlog并发送kafka(docker安装方式)

时间:2023-03-06 17:33:29 网络应用技术

  MySQL启动后,您需要更改配置,因为它是由容器启动的,您需要输入MySQL容器才能执行

  因为MySQL容器不安装命令工具,例如默认情况下的VI VIM,所以这是直接使用Echo添加文件的内容方法

  更改上述配置后,退出MySQL容器,然后重新启动

  连接到MySQL,执行BINLOG配置是否有效

  创建创建Maxwell所需的秘密和权限

  创建一个测试库和测试表

  安装的Kafka版本为2.2.1,依靠Zookeeper,因此请先安装Zookeeper

  Kafka启动后,您需要为Maxwell创建一个Maxwell主题,因为Maxwell不会主动创建主题

  启动完成后,请检查Maxwell容器输出日志,如下图所述,启动成功

  编写脚本并每秒写入一个数据

  运行数据脚本后,MySQL的test.maxwell表的数据开始写在表格中。

  现在验证Kafka中是否有数据

  您可以看到Maxwell成功分析了Binlog日志,并以JSON格式将消息发送到Kafka

  操作数据库后消息分析:测试表:Maxwell类型:插入数据:ID:100,守护程序:“ Stanislaw Lem”

  在这一点上,麦克斯韦收集了Binlog日志并将其发送给Kafka完成,下一篇文章将共享Flink1.12消费Kafka消息。