摘要:CDL是一个简单有效的数据实时集成服务,可以从各种OLTP数据库中捕获数据更改事件,然后将其推向KAFKA,最后是从接收器连接器消耗的数据并将其导入到大数据生态软件中在应用程序中,实时数据进入湖泊。
CDL是一个简单有效的数据实时集成服务,可以从各个OLTP数据库中捕获数据更改事件,然后将其推向KAFKA,最后将数据从接收器连接器中移到主题,并将其导入到大数据生态软件应用程序中。以实现数据的真实时间数据。
CDL服务包含两个重要字符:CDLCONNECTOR和CDLSERVICE.CDLCONNECTOR是数据掌握任务的特定执行的实例。CDLService是负责管理和创建任务的实例。
MySQL作为数据源引入了这种做法。
检查MySQL是否已打开bin日志:
使用工具或命令行连接MySQL数据库(将此示例连接到Navicat工具),并执行显示“ log_%”命令之类的显示变量。
例如,在Navicat工具中选择“文件>新查询”,如下输入SQL命令,然后单击“ log_bin”中的“运行”“ log_bin”,以显示为“ on”。
显示变量为“ log_%”
现在,CDL只能由REST API提交,因此您需要提前安装工具进行调试。本文使用VSCODE工具。
完成REST客户端插件的安装后:
完成后,创建一个用于编辑的CDL.HTTP文件:
CDL任务创建的流程图如下:
注意:您需要先创建一个MySQL链接,创建一个KAFKA链接,然后创建CDL同步任务并启动它。
MySQL链接剩余请求代码的一部分
KAFKA链接以进行一些REST请求代码
CDL任务命令列为其余请求代码的一部分
生产库MySQL的原始数据如下:
提交CDL任务后
添加操作:插入hudi.hudisource值(11,“ Jiang Yutang”,38,“女性”,“图片”,“播放器”,28732);
相应的kafka消息主体:
更改操作:更新hudi.hudisource设置uname ='annemarie333'其中uid = 11;
相应的kafka消息主体:
删除操作:从hudi.hudisource删除uid = 11;
相应的kafka消息主体:
本文分享了作者:Jin Hongqing的“华为融合夫人CDL指南”。