1.创建Hadoop用户三部曲:添加用户,设置密码,给该用户设置管理员权限为 hadoop 用户增加管理员权限,方便部署,避免一些对新手来说比较棘手的权限问题sudo useradd -m hadoop -s /bin/bashsudo passwd hadoopsudo adduser hadoop sudo2.登陆hadoop用户后,更新apt当前用户为hadoop,我们先更新一下 apt,后续我们使用 apt 安装软件,如果没更新可能有一些软件安装不了。按 ctrl+alt+t 打开终端窗口,执行如下命令:sudo apt-get update3.安装ssh并设置ssh免密登陆注意:每次配置时,需要注意当前目录为hadoop。集群、单节点模式都需要用到 SSH 登陆(类似于远程登陆,你可以登录某台 Linux 主机,并且在上面运行命令),Ubuntu 默认已安装了 SSH client,此外还需要安装 SSH server:hadoop@master:~$sudo apt-get install openssh-server//设置免密登陆,下面命令将创建一个新的密钥ssh-keygen -t rsa -P ""如下图:并将生成的密钥加入到授权中:hadoop@master:~$cat /home/hadoop/.ssd/id_rsa.pub >> /home/hadoop/.ssh/authorized_keys#测试SSH设置通过“hadoop”用户连接到locahost,就是先su hadoop,然后使用sshhadoop@master:~$ssh localhost4.安装java先检查 Ubuntu 操作系统的架构是32位还是64位xugui@master:~$file /sbin/init然后安装相应的jdk,例如,jdk-8-linux-x64.tar.gz在本教程中,我们将提取的下载文件到 /usr/local ,如下命令:xugui@master:~$ sudo tar -xvf jdk-8u60-linux-64.tar.gz -C /usr/local#添加环境变量vim /etc/porfile添加下面内空到系统变量,即 /etc/profile 文件的结束JAVA_HOME=/usr/local/jdk1.8.0_60PATH=$PATH:$HOME/bin:$JAVA_HOME/binexport JAVA_HOMEexport PATH现在让 Ubuntu 知道 JDK/JRE 的位置xugui@master:~$ sudo update-alternatives --install "/usr/bin/java" "java" "/usr/local/jdk1.8.0_60/bin/java" 1xugui@master:~$ sudo update-alternatives --install "/usr/bin/javac" "javac" "/usr/local/jdk1.8.0_60/bin/javac" 1xugui@master:~$ sudo update-alternatives --install "/usr/bin/javaws" "javaws" "/usr/local/jdk1.8.0_60/bin/javaws" 1告诉 Ubuntu 我们安装的即 jdk1.8.0_60 必须是默认的Javaxugui@master:~$ sudo update-alternatives --set java /usr/local/jdk1.8.0_60/bin/javaxugui@master:~$ sudo update-alternatives --set javac /usr/local/jdk1.8.0_60/bin/javacxugui@master:~$ sudo update-alternatives --set javaws /usr/local/jdk1.8.0_60/bin/javaws最后查看Java的版本:java -version5.下载并安装hadoop去hadoop官网下载hadoop-2.6.0.tar.gz我们选择将 Hadoop 安装至 /usr/local/ 中:sudo tar -zxf ~/下载/hadoop-2.6.0.tar.gz -C /usr/local # 解压到/usr/local中cd /usr/local/sudo mv ./hadoop-2.6.0/ ./hadoop # 将文件夹名改为hadoopsudo chown -R hadoop ./hadoop # 修改文件权限Hadoop伪分布式配置添加环境变量:vim ~/.bashrcexport HADOOP_HOME=/usr/local/hadoopexport JAVA_HOME=/usr/local/jdk1.8.0_60export PATH=$PATH:$HADOOP_HOME/bin然后 source ~/.bashrc配置关联HDFS,设置 JAVA_HOME 在文件 /usr/local/hadoop/etc/hadoop/hadoop-env.sh 中vim /usr/local/hadoop/etc/hadoop/hadoop-env.sh#添加jdkexport JAVA_HOME=/usr/local/jdk1.8.0_60Hadoop 可以在单节点上以伪分布式的方式运行,Hadoop 进程以分离的 Java 进程来运行,节点既作为 NameNode 也作为 DataNode,同时,读取的是 HDFS 中的文件。Hadoop 的配置文件位于 /usr/local/hadoop/etc/hadoop/ 中,伪分布式需要修改2个配置文件 core-site.xml 和 hdfs-site.xml 。Hadoop的配置文件是 xml 格式,每个配置以声明 property 的 name 和 value 的方式来实现。修改配置文件 :core-site.xmlvim /usr/local/hadoop/etc/hadoop/core-site.xml <configuration> <property> <name>hadoop.tmp.dir</name> <value>file:/usr/local/hadoop/tmp</value> <description>Abase for other temporary directories.</description> </property> <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property></configuration>#修改配置文件 hdfs-site.xml:vim /usr/local/hadoop/etc/hadoop/hdfs-site.xml<configuration> <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>file:/usr/local/hadoop/tmp/dfs/name</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>file:/usr/local/hadoop/tmp/dfs/data</value> </property></configuration>Map Reduce 配置#修改配置文件: mapred-site.xmlvim /usr/local/hadoop/etc/hadoop/mapred-site.xml<configuration> <property> <name>mapreduce.jobtracker.address</name> <value>localhost:9001</value> </property></configuration>在hadoop用户下,先用ssh localhost,然后格式化hdfs:#./bin/hdfs是相对路径,就是先cd到/usr/local/hadoop目录下hadoop@master:~$./bin/hdfs namenode -format显示格式化成功#./sbin同上是相对路径,启动hdfs和./sbin/start-dfs.sh./sbin/start-yarn.sh#然后输入jps,查看是否启动成功jps如下图:终止这两个守护进程hdfs和yarn./sbin/stop-dfs.sh./sbin/stop-yarn.sh到目前为止,伪分布式环境已经搭建成功了。我也是新手,写个教程总结一下,然后也是踩了不少坑过来的,可以参考一下以下两个教程:http://dblab.xmu.edu.cn/blog/...https://wizardforcel.gitbooks...
