本文分享了华为云社区的“ Dolphinscheduler2 Cloud Services MRS Building Dolphinscheduler2披露的云服务计划”。作者:哦,哦。
1.互联网上有许多关于海豚队的介绍,但它们缺乏案例指导与实际的大数据平台相结合。
2. Dolphinscheduuer1.x版本,2.x重建了内核验证,性能提高了20次!但是,由于重建,2.x和1.x部署过程之间存在差异,并且根据许多坑,并且有很多坑到1.x部署2.x版本。
3.选择具有轻巧,非操作和维护的大数据云服务,而低成本是行业趋势。因此,我们通过华为云MRS服务的组合在数据中构建数据。
MRS客户端提供Java和Python开发环境,还提供环境变量,可以打开群集中的每个组件:Hadoop,Hive,Hbase,Flink,Flink,Flink等。
请参阅登录ECS安装群集客户端
为了促进数据库管理,已为已安装的MySQL数据库建立了MySQL用户和MySQL用户组:
#添加MySQL用户组
允许用户读写权限
chown -r mysql:mysql mysql/
①创建配置文件my.cnf
②初始化日志文件以防止没有权限
③初始化PID文件以防止任何权限
④初始化数据库
初始化数据库并指定启动MySQL的用户,否则开始MySQL时的权限不足问题
初始化完成后,在datadir目录(/var/log/mysqld.log)下生成了一个error.log文件,该目录在my.cnf中配置了,该文件记录了root用户的随机密码。
cat/var/log/mysqld.log
执行后,记录最后一行:root@localhost:xxxxx。
设置引导服务
①修改密码
②海豚用户
可以在任何文件夹下执行此步骤。为了防止误解,我在Dolphinscheduler203上执行了这一步骤,以创建一个用户海豚队。所有关注者均由此用户完成。设置用户的无根登录:
①修改install-config.conf文件
ZK地址采集方法
登录到管理员,访问Zookeeper服务,可以使用复制管理IP(ECS和MRS群集网络已打开的前提):
②在conf/env Directory中修改Dolphinscheduler_env.sh
以/opt/bigdata/client中使用的相关软件为例:
阐明
此步骤非常重要。例如,必须配置Java_home和路径。如果不使用,可以忽略或注释
环境变量的说明:假设MRS客户端已安装在/OPT/BIGDATA/客户端中
执行sh脚本/create-dolphinscheduler.sh
每个开始和停止都可以重新删除:sh install.sh
开始和停止命令
访问正面 - 末端页面地址:http:// xxx:12345/Dolphinscheduler
用户名密码:管理员/Dolphinscheduler123
登录MRS Manager查看Hiveserver IP:
创建HIVE数据连接。普通簇没有许可使用默认用户Hive。如有必要,您可以使用MRS中创建的用户:
①创建项目
②创建一个工作流程
③在工作流程中编辑任务
④在线任务
⑤启动任务流后,您可以查询工作流程实例和任务实例
⑥登录到管理器页面,然后选择“群集>服务>纱线>概述”
⑦单击“ ResourceManager webui”背后的相应链接以输入纱线的WebUI页面以查看SPARK任务是否运行
单击以关注,并首次了解华为云新技术?
原始:https://juejin.cn/post/7102614062587969549