当前位置: 首页 > 科技观察

Hadoop的全分布式集群

时间:2023-03-16 12:39:11 科技观察

首先准备三个客户端(hadoop102、hadoop103、hadoop104),关闭防火墙,修改为静态ip和ip地址映射配置集群编写集群分发脚本创建一个远程同步脚本xsync,并放到在当前用户下新建bin目录,并在PATH中配置,使脚本可以在任意目录下执行,实现[kocdaniel@hadoop102~]$mkdirbin[kocdaniel@hadoop102~]$cdbin/[kocdaniel@hadoop102bin]$vimxsync在文件#!/bin/bash#1中写入如下脚本代码,获取输入参数个数,如果没有参数,直接退出pcount=$#if((pcount==0));thenechonoargs;exit;fi#2getFilenamep1=$1fname=`basename$p1`echofname=$fname#3获取上层目录到绝对路径-P指向实际物理地址,防止软链接pdir=`cd-P$(dirname$p1);pwd`echopdir=$pdir#4获取当前用户名user=`whoami`#5Loopfor((host=103;host<105;host++));doecho------------------hadoop$host--------------rsync-rvl$pdir/$fname$user@hadoop$host:$pdirdone修改脚本xsync有执行权限,调用脚本,复制脚本到103和104节点[kocdaniel@hadoop102bin]$chmod777xsync[kocdaniel@hadoop102bin]$xsync/home/atguigu/binCluster配置1.集群部署规划由于电脑配置有限,只能使用三个虚拟机。在工作环境中,根据需要规划集群2.配置集群切换到hadoop安装目录/etc/hadoop/配置core-site.xml[kocdaniel@hadoop102hadoop]$vimcore-site.xml#在里面写入如下内容文件fs.defaultFShdfs://hadoop102:9000hadoop.tmp.dir/opt/module/hadoop-2.7.2/data/tmpHDFS配置文件配置hadoop-env.sh[kocdaniel@hadoop102hadoop]$vimhadoop-env.shexportJAVA_HOME=/opt/module/jdk1.8.0_144exportJAVA_HOME=/opt/module/jdk1.8.0_144注意:我们在/etc/profile文件中配置了JAVA_HOME,为什么还要在这里配置JAVA_HOME呢?答:因为HadoopRunning是daemon进程(daemon进程是后台运行的进程,不受任何终端控制-摘自百度百科),正是因为它在后台运行,不接受任何终端控制,所以它无法读取我们配置的环境变量,所以需要在这里单独配置。配置hdfs-site.xml[kocdaniel@hadoop102hadoop]$vimhdfs-site.xml#写入如下配置dfs.replication3dfs.namenode.secondary。http-addresshadoop104:50090YARN配置文件配置yarn-env.sh[kocdaniel@hadoop102hadoop]$vimyarn-env.shexportJAVA_HOME=/opt/module/jdk1.8.0_144配置yarn-site.xml[kocdaniel@hadoop102hadoop]$viyarn-site.xml#添加如下配置yarn.nodemanager.aux-servicesmapreduce_shuffleyarn.resourcemanager.hostnamehadoop103MapReduce配置文件配置mapred-env.sh[kocdaniel@hadoop102hadoop]$vimmapred-env.shexportJAVA_HOME=/opt/module/jdk1.8.0_144configuremapred-site.xml#如果是第一次配置,需要将mapred-site.xml.template重命名为mapred-site.xml[kocdaniel@hadoop102hadoop]$cpmapred-site.xml.templatemapred-site.xml[kocdaniel@hadoop102hadoop]$vimmapred-site.xml#在文件中添加如下配置mapreduce.framework.nameyarn3.使用集群分发脚本将配置的文件同步到hadoop103和hadoop104节点[kocdaniel@hadoop102hadoop]$xsync/opt/module/hadoop-2.7.2/同步完成后最好查看同步结果,以免出错。单点启动1.如果是第一次启动,需要格式化namenode,否则跳过这一步[kocdaniel@hadoop102hadoop-2.7.2]$hadoopnamenode-formatformat需要注意的问题:只有第一次启动需要格式化,以后不要总是格式化,否则namenode和datanode的clusterid不一致,导致datanode无法启动。正确格式化姿势:执行第一次格式化时,会在hadoop安装目录下生成data文件夹,里面会生成namenode信息。启动namenode和datanode后,同目录下也会生成logs的log文件夹,所以格式化前需要把这两个文件夹删除,然后格式化,最后启动namenode和datanode2。在hadoop102[kocdaniel@hadoop102hadoop-2.7.2]$hadoop-daemon.shstartnamenode[kocdaniel@hadoop102hadoop-2.7.2]$jps3461N上启动namenodeameNode3。分别在hadoop102、hadoop103、hadoop104上启动DataNode[kocdaniel@hadoop102hadoop-2.7.2]$hadoop-daemon.shstartdatanode[kocdaniel@hadoop102hadoop-2.7.2]$jps3461NameNode3608Jps3561DataNode[kocdaniel@hadoop-12.7]$hadoop-daemon.shstartdatanode[kocdaniel@hadoop103hadoop-2.7.2]$jps3190DataNode3279Jps[kocdaniel@hadoop104hadoop-2.7.2]$hadoop-daemon.shstartdatanode[kocdaniel@hadoop104hadoop-2.7.2]$jps3237Node10.hadoop-10.shstartdatanode[kocdaniel@hadoop104hadoop-2.7.2]$jps3237Node10.hadoop-20startdatanode[kocdaniel@hadoop104hadoop-2.7.2].2]$jps3237Node10。这样一来,上面的单点启动就出现了一个问题:每个节点都是一个一个启动的。如果节点数量增加到1000怎么办?配置ssh免密登录1.配置sshssh用另一个节点的ip切换到另一个节点,但是要输入密码2.免密ssh配置免密登录原理生成私钥和公钥在namenodehosthadoop102切换目录到/home/username/.ssh/[kocdaniel@hadoop102.ssh]$ssh-keygen-trsa-然后按(三个回车),两个文件id_rsa(私钥)和id_rsa.pub(公钥))会生成-将公钥复制到目标机器上免密码登录```shell[kocdaniel@hadoop102.ssh]$ssh-copy-idhadoop103[kocdaniel@hadoop102.ssh]$ssh-copy-idhadoop104#注意:ssh访问也需要输入密码,所以我们需要将公钥复制到102[kocdaniel@hadoop102.ssh]$ssh-copy-idhadoop102```同理,在配置了resourcemanager的主机hadoop103上进行同样的操作,然后就可以启动集群了。启动一个集群1.配置设置slaves切换目录为:hadoop安装目录/etc/hadoop/目录下的slaves文件添加如下内容[kocdaniel@hadoop102hadoop]$vimslaves#注意最后不能有空格,文件中不能有空行hadoop102hadoop103hadoop104同步所有节点文件的配置[kocdaniel@hadoop102hadoop]$xsyncslaves2.启动集群同样,如果是第一次启动,需要格式化并启动HDFS[kocdaniel@hadoop102hadoop-2.7.2]$sbin/start-dfs.sh#查看启动结果和集群规划(配置文件中)的一致[atguigu@hadoop102hadoop-2.7.2]$jps4166NameNode4482Jps4263DataNode[atguigu@hadoop103hadoop-2.7.2]$jps3218DataNode3288Jps[atguigu@hadoop104hadoop-2.7.2]$jps3221DataNode3283SecondaryNameNode3364Jps启动YARN#注意:NameNode和ResourceManger如果不是Onthesamemachine,youcannot在NameNode上启动YARN,应该在ResourceManager所在的机器上启动YARN[kocdaniel@hadoop103hadoop-2.7.2]$sbin/start-yarn.sh3.web查看相关信息