当前位置: 首页 > 网络应用技术

基于云服务MRS建立Dolphinscheduler2调度系统

时间:2023-03-06 00:59:21 网络应用技术

  本文分享了华为云社区的“ Dolphinscheduler2 Cloud Services MRS Building Dolphinscheduler2披露的云服务计划”。作者:哦,哦。

  1.互联网上有许多关于海豚队的介绍,但它们缺乏案例指导与实际的大数据平台相结合。

  2. Dolphinscheduuer1.x版本,2.x重建了内核验证,性能提高了20次!但是,由于重建,2.x和1.x部署过程之间存在差异,并且根据许多坑,并且有很多坑到1.x部署2.x版本。

  3.选择具有轻巧,非操作和维护的大数据云服务,而低成本是行业趋势。因此,我们通过华为云MRS服务的组合在数据中构建数据。

  MRS客户端提供Java和Python开发环境,还提供环境变量,可以打开群集中的每个组件:Hadoop,Hive,Hbase,Flink,Flink,Flink等。

  请参阅登录ECS安装群集客户端

  为了促进数据库管理,已为已安装的MySQL数据库建立了MySQL用户和MySQL用户组:

  #添加MySQL用户组

  允许用户读写权限

  chown -r mysql:mysql mysql/

  ①创建配置文件my.cnf

  ②初始化日志文件以防止没有权限

  ③初始化PID文件以防止任何权限

  ④初始化数据库

  初始化数据库并指定启动MySQL的用户,否则开始MySQL时的权限不足问题

  初始化完成后,在datadir目录(/var/log/mysqld.log)下生成了一个error.log文件,该目录在my.cnf中配置了,该文件记录了root用户的随机密码。

  cat/var/log/mysqld.log

  执行后,记录最后一行:root@localhost:xxxxx。

  设置引导服务

  ①修改密码

  ②海豚用户

  可以在任何文件夹下执行此步骤。为了防止误解,我在Dolphinscheduler203上执行了这一步骤,以创建一个用户海豚队。所有关注者均由此用户完成。设置用户的无根登录:

  ①修改install-config.conf文件

  ZK地址采集方法

  登录到管理员,访问Zookeeper服务,可以使用复制管理IP(ECS和MRS群集网络已打开的前提):

  ②在conf/env Directory中修改Dolphinscheduler_env.sh

  以/opt/bigdata/client中使用的相关软件为例:

  阐明

  此步骤非常重要。例如,必须配置Java_home和路径。如果不使用,可以忽略或注释

  环境变量的说明:假设MRS客户端已安装在/OPT/BIGDATA/客户端中

  执行sh脚本/create-dolphinscheduler.sh

  每个开始和停止都可以重新删除:sh install.sh

  开始和停止命令

  访问正面 - 末端页面地址:http:// xxx:12345/Dolphinscheduler

  用户名密码:管理员/Dolphinscheduler123

  登录MRS Manager查看Hiveserver IP:

  创建HIVE数据连接。普通簇没有许可使用默认用户Hive。如有必要,您可以使用MRS中创建的用户:

  ①创建项目

  ②创建一个工作流程

  ③在工作流程中编辑任务

  ④在线任务

  ⑤启动任务流后,您可以查询工作流程实例和任务实例

  ⑥登录到管理器页面,然后选择“群集>服务>纱线>概述”

  ⑦单击“ ResourceManager webui”背后的相应链接以输入纱线的WebUI页面以查看SPARK任务是否运行

  单击以关注,并首次了解华为云新技术?

  原始:https://juejin.cn/post/7102614062587969549