当前位置: 首页 > Linux

Oozie5.2.1+Hadoop3编译

时间:2023-04-07 01:22:17 Linux

基于hadoop3编译Oozie5.2.1系统需要JavaJDK1.8+Maven3.0.1+Hadoop3.0.0+编译总结gitclonehttps://github.com/apache/oozie.git#如果是为Hadoop3构建,必须激活配置文件hadoop-3构建版本时应指定以下属性:-DgenerateDocs:强制生成Oozie文档-DskipTests:跳过测试-Dvc.revision=:指定版本的源代码控制修订号-Dvc.url=:指定分发源代码管理URL根据集群情况,修改pom文件修改oozie/examples/pom.xmlhadoop-3trueorg.apache.hadoophadoop-common修改oozie/sharelib/pig/pom.xmlhadoop-3trueorg.apache.hadoophadoop-common修改oozie/webapp/pom.xmlhadoop-3<激活>trueorg.apache.hadoophadoop-common修改oozie/pom.xml....3.1.131.7.0.....2.3.62.120.16.0h2core1.4.72.4.62.4.62.4.614.0.12.10hadoop2600.10.02.9.91.8.2兼容sharelibhive3.1.0编译调整//更改DelegationTokenReplaceIdentifierwithTokenIdentifier//关于第50行importorg.apache.hadoop.hive.thrift.DelegationTokenIdentifier;importorg.apache.hadoop.security.token.TokenIdentifier;//更改为TokenIdentifier//关于第290行;编译bin/mkdistro.sh-DskipTests-Dvc.revision=release-5.2.1@8f0e5ee-Dvc。url=https://github.com/apache/oozie.git-DgenerateDocs安装包相关安装过程中,由于原包缺少jar包,提交作业无法运行,缺少jar包,hadoop-mapreduce-client-common缺少-3.1.1.jar,需要从libext中的cp提交hive作业到lib目录,缺少hive-webhcat-java-client-2.3.7.jar需要复制到lib和libext目录提交hive作业,缺少hive-hcatalog-core-2.3.7.jar需要复制到lib和libext目录下提交MapReduce作业和sqoop作业,yarn调度成功,但是oozieui处于挂起状态,缺少hadoop-mapreduce-client-jobclient-3.1.1.jar