当前位置: 首页 > 科技观察

如何在CentOS上安装ApacheHadoop

时间:2023-03-18 02:37:45 科技观察

ApacheHadoop软件存储库是一个框架,它允许使用简单的编程模型在计算机集群上分布式处理大型数据集。Apache?Hadoop?是用于可靠、可扩展的分布式计算的开源软件。该项目包括以下模块:HadoopCommon:支持其他Hadoop模块的通用工具。Hadoop分布式文件系统(HDFS?):一种分布式文件系统,支持对应用程序数据的高吞吐量访问。HadoopYARN:作业调度和集群资源管理的框架。HadoopMapReduce:一种基于YARN的大型数据集并行处理系统。本文将帮助您一步步在CentOS上安装hadoop并配置单节点hadoop集群。安装Java在安装hadoop之前,请确保您的系统上安装了Java。使用此命令检查安装的Java版本。java-versionjavaversion"1.7.0_75"Java(TM)SERuntimeEnvironment(build1.7.0_75-b13)JavaHotSpot(TM)64-BitServerVM(build24.75-b04,mixedmode)要安装或更新Java,请按照以下步骤操作下面的说明。第一步是从Oracle官网下载最新版本的java。cd/opt/wget--no-cookies--no-check-certificate--header"Cookie:gpw_e24=http%3A%2F%2Fwww.oracle.com%2F;oraclelicense=accept-securebackup-cookie""http://download.oracle.com/otn-pub/java/jdk/7u79-b15/jdk-7u79-linux-x64.tar.gz“tarxzfjdk-7u79-linux-x64.tar.gz需要设置才能使用更新版本的Java作为替代。使用以下命令执行此操作。cd/opt/jdk1.7.0_79/alternatives--install/usr/bin/javajava/opt/jdk1.7.0_79/bin/java2alternatives--configjava有3个program提供'java'.SelectionCommand-------------------------------------------------*1/opt/jdk1.7.0_60/bin/java+2/opt/jdk1.7.0_72/bin/java3/opt/jdk1.7.0_79/bin/javaEntertokeepthecurrentselection[+],ortypeselectionnumber:3[PressEnter]现在可能还需要用alternatives命令设置javac和jar命令路径。替代方案--安装/usr/bin/jarjar/opt/jdk1.7.0_79/bin/jar2alternatives--install/usr/bin/javacjavac/opt/jdk1.7.0_79/bin/javac2alternatives--setjar/opt/jdk1.7.0_79/bin/jaralternatives--setjavac/opt/jdk1.7.0_79/bin/javac接下来就是配置环境变量了。使用以下命令正确设置这些变量。设置JAVA_HOME变量:exportJAVA_HOME=/opt/jdk1.7.0_79设置JRE_HOME变量:exportJRE_HOME=/opt/jdk1.7.0_79/jre设置PATH变量:exportPATH=$PATH:/opt/jdk1.7.0_79/bin:/opt/在jdk1.7.0_79/jre/bin下安装ApacheHadoop并设置java环境后。启动ApacheHadoop安装。第一步是为hadoop安装创建一个系统用户帐户。useraddhadooppasswdhadoop现在您需要为用户hadoop配置ssh密钥。使用以下命令启用无密码ssh登录。su-hadoopssh-keygen-trsacat~/.ssh/id_rsa.pub>>~/.ssh/authorized_keyschmod0600~/.ssh/authorized_keysexit现在从官方网站hadoop.apache.org下载hadoop***的可用版本。cd~wgethttp://apache.claz.org/hadoop/common/hadoop-2.6.0/hadoop-2.6.0.tar.gztarxzfhadoop-2.6.0.tar.gzmvhadoop-2.6.0hadoop接下来就是设置hadoop使用环境变量。编辑~/.bashrc并在文件末尾添加以下这些值。exportHADOOP_HOME=/home/hadoop/hadoopexportHADOOP_INSTALL=$HADOOP_HOMEexportHADOOP_MAPRED_HOME=$HADOOP_HOMEexportHADOOP_COMMON_HOME=$HADOOP_HOMEexportHADOOP_HDFS_HOME=$HADOOP_HOMEexportYARN_HOME=$HADOOP_HOMEexportHADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/nativeexportPATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin在当前运行环境中应用更改.source~/.bashrc编辑$HADOOP_HOME/etc/hadoop/hadoop-env.sh并设置JAVA_HOME环境变量。exportJAVA_HOME=/opt/jdk1.7.0_79/现在,让我们从配置一个基本的hadoop单节点集群开始。首先编辑hadoop配置文件,做如下改动。cd/home/hadoop/hadoop/etc/hadoop让我们编辑core-site.xml。fs.default.namehdfs://localhost:9000连接着编辑hdfs-site.xml:dfs.replication1dfs.name.dirfile:///home/hadoop/hadoopdata/hdfs/namenodedfs.data.dirfile:///home/hadoop/hadoopdata/hdfs/datanode并编辑mapred-site.xml:mapreduce.framework.nameyarn***编辑yarn-site.xml:yarn.nodemanager.aux-servicesmapreduce_shuffle</configuration>现在使用以下命令格式化名称节点:hdfsnamenode-format要启动所有hadoop服务,请使用以下命令:cd/home/hadoop/hadoop/sbin/start-dfs.shstart-yarn.sh检查是否所有服务要正常启动,使用jps命令:jps你应该看到这样的输出26049SecondaryNameNode25929DataNode26399Jps26129JobTracker26249TaskTracker25807NameNode现在,你可以在浏览器中访问Hadoop服务:http://your-ip-address:8088/。hadoop感谢阅读!!!

最新推荐
猜你喜欢