Hadoop伪分布式搭建操作步骤指南

一、准备工作在/opt/目录下创建文件夹modules和softwares并修改操作权限（切换到root用户）chown-Rwxt:wxt/opt/然后切换到普通用户mkdirsoftwaresmkdirmodulesinstalllrzsz（可以替代linux中的ftp上传下载。）首先安装lrzszyum-yinstalllrzsz上传文件，执行命令rz，会弹出文件选择窗口，选择文件，点击确定。rz下载文件，执行命令szsz2.Hadoop环境部署-JDKpart1.上传jdk到softwares2.解压jdk到modulestar-zxvfjdk-7u67-linux-x64.tar.gz-C/opt/modules/3、修改切换到root用户修改vi/etc/profile文件，配置jdk环境变量#JAVA_HOMEexportJAVA_HOME=/opt/modules/jdk1.7.0_67exportPATH=$PATH:$JAVA_HOME/bin4。source/etc/profile使文件生效，验证是否配置成功java-versionjavaversion"1.7.0_09-icedtea"OpenJDKRuntimeEnvironment(rhel-2.3.4.1.el6_3-x86_64)OpenJDK64-BitServerVM(build23.2-b09,mixedmode)jps命令可以查看java进程echo$JAVA_HOME3.Hadoop伪分布型环境部署-Hadooppart1.将文件hadoop-2.5.0.tar.gz上传到softwares并解压到modulestar-zxvfhadoop-2.5.0.tar.gz-C/opt/modules/2.清理Hadoop目录，删除hadoop/share/doc目录以节省磁盘空间，使用此命令查看df-h3。修改hadoop/etc/hadoop/hadoop-env.sh文件修改hadoop/etc/hadoop/mapred-env.sh文件修改hadoop/etc/hadoop/yarn-env.sh文件指定Java安装路径exportJAVA_HOME=/opt/模块/jdk1.7.0_674。注：Hadoop中的四个核心模块分别对应四个默认的配置文件HDFS，Hadoop默认的文件系统，是文件系统Namenode的访问入口，是Hadoop1.x所在机器的9000端口早期，现在Hadoop2.x8020端口号用于节点内部直接通信，采用RPC通信机制5.修改hadoop/etc/hadoop/core-site.xml文件fs.defaultFShdfs://bigdata-4:8020hadoop.tmp.dir/opt/modules/hadoop-2.5.0/data/tmp6.注意：/tmp代表暂存目录，每次系统重启，会根据预先设定的脚本删除里面的文件，重新自定义系统生成的文件路径，/tmp会被清除，并且无法保证数据文件的安全。7、修改hadoop/etc/hadoop/hdfs-site.xml文件，指定HDFS文件存储的副本数。默认是3，这里单台机器设置为1，小于datanode节点数。dfs.replication18.修改hadoop/etc/hadoop/slaves文件，指定slave节点的机器位置，主机名添加bigdata-49。格式namenodebin/hdfsnamenode-format10。启动命令sbin/hadoop-daemon.shstartnamenodesbin/hadoop-daemon.shstartdatanode11.查看HDFS对外UI界面bigdata-04或者IP地址跟上端口号50070，对外通信httpdfs.namenode.http-address50070http://bigdata-4:50070（如果windows本地没有配置hosts，需要配置）如果无法正常打开页面，请检查防火墙是否关闭，切换到root用户，服务iptables状态关闭防火墙chkconfigiptablesoff12.测试HDFS环境创建文件夹。HDFS有用户家目录的概念，与linuxbin/hdfsdfs-mkdir-pwxt_test/iuput相同13、上传文件到HDFS（找一个文件上传即可）bin/hdfsdfs-put/opt/modules/hadoop-2.5.0/etc/hadoop/core-site.xmlwxt_test/input/core-site.xml上传成功，HDFS外部UI界面，会显示上传的文件14.从HDFS读取文件bin/hdfsdfs-text/core-site.xml终端会显示上传文件的内容15.下载文件到本地（指定下载位置，可以重命名为get-site.xml）bin/hdfsdfs-get/core-site.xml/home/wxt/Desktop/get-site.xml然后你会在桌面上看到这个文件并重命名。Hadoop伪分布式搭建结束。