Hadoop是由Apache基金会开发的分布式系统基础设施。它实现了一个分布式文件系统（HadoopDistributedFileSystem），简称HDFS。其框架的核心设计是：HDFS和MapReduce。HDFS为海量数据提供存储，MapReduce为海量数据提供计算。单机模式安装将安装包解压到指定位置并重命名。tar-zxvfhadoop-2.7.2.tar.gz-C/opt/module/mvhadoop-2.7.2hadoop将hadoop写入环境变量启动。#hadoopexportHADOOP_HOME=/opt/module/hadoopexportPATH=$PATH:$HADOOP_HOME/binexportPATH=$PATH:$HADOOP_HOME/sbin写入后记得“source/etc/profile”文件，使其立即生效。输入“hadoopversion”查看安装的hadoop版本。全分布式安装基于单机模式，进入hadoop安装目录下的“etc/hadoop”目录，修改其中的配置文件。修改“hadoop-env.sh”、“mapred-env.sh”、“yarn-env.sh”文件中的“JAVA_HOME”。修改“core-site.xml”文件。fs.defaultFShdfs://hadoop151:9000hadoop.tmp.dir/opt/module/hadoop/data/tmp修改"hdfs-site.xml”文件dfs.replication1dfs.namenode.secondary.http-addresshadoop153:50090修改“mapred-site.xml”文件。mapreduce.framework.nameyarnmapreduce.jobhistory.addresshadoop151:10020mapreduce.jobhistory.webapp.addresshadoop151:19888修改“slaves”文件。hadoop151hadoop152hadoop153修改“yarn-site.xml”文件yarn.nodemanager.aux-servicesmapreduce_shuffle/property>yarn.resourcemanager.hostnamehadoop152yarn.log-aggregation-enabletrueyarn.log-aggregation.retain-seconds604800在另外两台虚拟机上执行以上所有步骤。在hadoop151上，进入hadoop目录。在其子目录bin目录下使用命令“bin/hdfsnamenode-format”初始化整个集群。出现“成功”。在hadoop151上启动hdfs，在hadoop152上启动yarn。[hadoop@hadoop151~]start-dfs.sh[hadoop@hadoop152~]start-yarn.sh在三台虚拟机上输入命令“jps”，查看启动过程。最后在物理机上打开浏览器，输入“hadoop151:50070”。在web端查看hadoop。配置hadoop支持lzo压缩lzo是一种专用于解压速度的数据压缩算法，LZO是Lempel-Ziv-Oberhumer的缩写。启用lzo压缩方式对于小型集群非常有用，压缩率可以降低到原来日志大小的1/3左右。同时，解压的速度也更快。虚拟机安装lzo服务。linux系统本身不支持lzo，需要下载安装软件包。[hadoop@hadoop151~]sudoyuminstall-ylzolzo-devel[hadoop@hadoop152~]sudoyuminstall-ylzolzo-devel[hadoop@hadoop153~]sudoyuminstall-ylzolzo-devel将“hadoop-lzo-0.4.20.jar”到“hadoop/share/hadoop/common”目录。修改“core-site.xml”文件写入lzo。<属性><名称>io.compression.codecs<值>org.apache.hadoop.io.compress.GzipCodec，org.apache.hadoop.io.compress.DefaultCodec，org.apache.hadoop.io。compress.BZip2Codec,org.apache.hadoop.io.compress.SnappyCodec,com.hadoop.compression.lzo.LzoCodec,com.hadoop.compression.lzo.LzopCodec<名称>io.compression.codec.lzo.classcom.hadoop.compression.lzo.LzoCodec在另外两台虚拟机上重复上述步骤。重启集群。
