当前位置: 首页 > Linux

hadoop-2.6.0-cdh5.7.0源码编译支持压缩

时间:2023-04-06 02:05:33 Linux

准备工作:解压hadoop-2.6.0-cdh5.7.0.tar.gz源码包,看到里面有一个BUILDING.txt文件,里面列出了编译必需的依赖项。要求:UnixSystemJDK1.7+Maven3.0orlaterFindbugs1.3.9(ifrunningfindbugs)ProtocolBuffer2.5.0CMake2.6ornewer(ifcompilingnativecode),mustbe3.0orneweronMacZlibdevel(ifcompilingnativecode)openssldevel(ifcompilingnativehadoop-pipes)首次构建需要联网(获取所有Maven和Hadoop依赖)转载链接文章中或通过yum安装或自行下载提供所有正确版本的组件,并通过百度云分享下载的组件。我要补充的是yum安装可能会报错Anotherappiscurrentlyholdingtheyumlock;waitingittoexit...,请参考https://blog.csdn.net/testcs_...强制关闭yum进程解决。编译:根据BUILDING.txt提示构建选项:使用-Pnative编译/捆绑本机代码*使用-Pdocs生成并捆绑分发中的文档(使用-Pdist)使用-Psrc创建项目源TAR.GZ*使用-Dtar创建带有发行版的TAR(使用-Pdist)构建发行版:创建没有本地代码和文档的二进制发行版:$mvnpackage-Pdist-DskipTests-DtarCreate带有本地代码和文档的二进制发行版:$mvnpackage-pdist,native,docs-DskipTests-Dtarcd到解压后的hadoop-2.6.0-cdh5.7.0源码目录下,使用mvn-ecleanpackage-Pdist,native-DskipTests-Dtar编译(使用-e参数输出错误堆栈信息,有利于定位),编译完成后,默认会在源码根目录的hadoop-dist目录下生成target,hadoop-2.6.0-cdh5.7.0文件夹里面是编译解压后的hadoop(直接使用),可以复制到自定义位置进行部署配置。[root@NN1hadoop-2.6.0-cdh5.7.0]#./bin/hadoopchecknative19/04/1011:22:34信息bzip2.Bzip2Factory:成功加载并初始化native-bzip2库system-native19/04/1011:22:34INFOzlib.ZlibFactory:成功加载和初始化native-zliblibraryNativelibrarychecking:hadoop:true/root/hadoop-c/hadoop-2.6.0-cdh5.7.0-target/hadoop-2.6.0-cdh5.7.0/lib/native/libhadoop.so.1.0.0zlib:true/lib64/libz.so.1snappy:true/lib64/libsnappy.so.1lz4:true修订版:99bzip2:true/lib64/libbz2.so.1openssl:true/lib64/libcrypto.so可以看到编译出来的hadoop支持各种压缩,亲测有效!