Hadoop运行模式Hadoop一般有三种运行模式，分别是：独立模式（StandaloneMode），默认情况下，Hadoop是这种模式，使用本地文件系统，而不是分布式文件系统。,用于开发和调试。伪分布式模式（PseudoDistrubutedMode），使用分布式文件系统，守护进程运行在本地机器上，模拟小型集群，在一台主机上模拟多个主机，适用于模拟集群学习。在全分布式集群模式（FullDistributedMode）下，Hadoop守护进程运行在一个由多台主机搭建的集群上，这是一个真实的生产环境。下面介绍如何构建Hadoop全分布式集群。安装环境介绍准备四台服务器，IP分别为192.168.0.236、192.168.0.237、192.168.0.238、192.168.0.239，其中192.168.0.236为主节点，另外三台为从节点。具体版本信息如下：CentOS7.4JDK8Hadoop2.10.0准备安装环境设置主机名修改各服务器对应的主机名：#在192.168.0.236上执行：hostnamectlset-hostnameonemore-hadoop-master#on192.168.0.237执行：hostnamectlset-hostnameonemore-hadoop-slave1#在192.168.0.238上执行：hostnamectlset-hostnameonemore-hadoop-slave2#在192.168.0.239上执行：hostnamectlset-hostnameonemore-hadoop-slave3closeSELINUXedit/etc/selinux/config文件：vi/etc/selinux/config将SELINUX=enforcing更改为：SELINUX=disabled重启服务器rebootsethostscat>>/etc/hosts<>~/.ssh/authorized_keys安装JDK见前面的《详解在Linux系统中安装JDK》，这里不再赘述。Hadoop环境配置主节点配置下载Hadoop从北京理工大学镜像下载Hadoop：wgethttp://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.10.0/hadoop-2.10.0。tar.gz创建文件夹mkdir/usr/local/hadoop解压tar-xzvfhadoop-2.10.0.tar.gz-C/usr/local/hadoop配置环境变量将Hadoop环境变量追加到/etc/profile文件中cat>>/etc/profile<hadoop.tmp.dirfile:/usr/local/hadoop/tmp其他临时目录的基础。fs.defaultFShdfs://onemore-hadoop-master:9000修改hdfs-site.xml配置文件vi/usr/local/hadoop/hadoop-2.10.0/etc/hadoop/hdfs-site.xml修改其内容为：dfs.replication3<属性><名称>dfs.name.dir<值>/usr/local/hadoop/hdfs/名称<属性><名称>dfs.data.dir/usr/local/hadoop/hdfs/data将mapred-site.xml.template复制到mapred-site.xmlcp/usr/local/hadoop/hadoop-2.10.0/etc/hadoop/mapred-site.xml.template/usr/local/hadoop/hadoop-2.10.0/etc/hadoop/mapred-site.xml然后修改mapred-site.xml配置文件vi/usr/local修改/hadoop/hadoop-2.10.0/etc/hadoop/mapred-site.xml为：mapreduce.framework.nameyarn<属性><名称>mapred.job.trackerhttp://onemore-hadoop-master:9001修改yarn-site.xml配置文件vi/usr/local/hadoop/hadoop-2.10.0/etc/hadoop/yarn-site.xml修改其内容为：yarn.nodemanager.aux-servicesmapreduce_shuffleyarn.resourcemanager.hostnameonemore-hadoop-master创建一个新的masters配置文件vi/usr/local/hadoop/hadoop-2.10.0/etc/hadoop/masters新增内容为：onemore-hadoop-master配置slaves文件vi/usr/local/hadoop/hadoop-2.10.0/etc/hadoop/slaves修改其内容如：onemore-hadoop-slave1onemore-hadoop-slave2onemore-hadoop-slave3从节点配置下面以onemore-hadoop-slave1从节点为例。需要参考以下步骤完成onemore-hadoop-slave2和onemore-hadoop-slave3从节点的配置下载Hadoop或者从北京理工大学的镜像下载Hadoop（如果下载速度慢，可以发到master节点上的slave节点）：wgethttp://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.10.0/hadoop-2.10.0.tar.gz创建文件夹mkdir/usr/local/hadoop解压tar-xzvfhadoop-2.10.0.tar.gz-C/usr/local/hadoop配置环境变量附加Hadoop环境变量到/etc/profile文件cat>>/etc/profile<
