当前位置: 首页 > 科技观察

Linux下如何快速安装Hadoop

时间:2023-03-12 10:44:10 科技观察

本文转载请联系Java极客技术公众号。大家都对大数据感兴趣,但是没有人想过怎么去实践,怎么去实现去学习Hadoop。当我们学习任何技术时,我们都不必考虑它。我们必须安装它然后练习它。我们不得不说,现在你去网上搜索如何安装Hadoop,很多都是如何从Unbutu系统安装的,很多都不是很清楚。阿粉也想学,所以准备了Linux下如何安装Hadoop的教程,大家可以动手学习。阿芬开始写一篇安装Hadoop的教程给大家。准备工作1、我们可以先去阿里云或者华为云租一台服务器。毕竟,初级版本的服务器并没有那么贵。阿芬还在用之前租的那个。我们选择安装Linux8的版本。如果是本地机的话,需要下载CentOS8的镜像,然后通过虚拟机安装到VM上。安装完成后,我们就可以开始安装Hadoop了。下面说说Hadoop能干什么,人们常常对Hadoop有误解。Hadoop主要是一个分布式计算和存储的框架,所以Hadoop的工作过程主要依赖于HDFS(HadoopDistributedFileSystem)分布式存储系统和Mapreduce分布式计算框架。但是很多人对Hadoop会有一个误解。有些非常支持Hadoop的人会说Hadoop无所不能。事实上,它不是。每一种技术的出现都对应着解决不同的问题。比如我们接下来要学习的Hadoop。Hadoop适合做数据分析,但绝对不是BI。传统BI属于数据表现层(DataPresentation)。Hadoop是一个专注于半结构化和非结构化数据的数据载体。它是一个与BI不同层次的概念。有人说Hadoop就是ETL,相当于数据处理,但是Hadoop并不是绝对的ETL。安装Hadoop教程1.安装SSHyuminstallopenssh-serverOpenSSH是SecureShell的开源实现。OpenSSHServer安装完成后,需要在/etc/init.d目录下增加一个名为sshd的服务。密钥放在指定的位置,然后用作以后的身份验证。2、安装rsyncyum-yinstallrsync3、生成SSH密钥后,进行后续认证ssh-keygen-tdsa-P''-f~/.ssh/id_dsa4、将生成的密钥放入许可文件cat~/.ssh/id_dsa.pub>>~/.ssh/authorized_keys安装Hadoop在安装Hadoop之前,我们需要先安装JDK并配置环境变量。如果出现如下图,说明JDK已经安装好了。1.解压Hadoop首先要像阿粉一样把Hadoop放到我们的服务器上,然后解压tarzxvfhadoop-3.3.1.tar.gz2.修改bashrc文件vim~/.bashrcexportJAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64/exportHADOOP_HOME=/usr/local/hadoopexportPATH=$PATH:$HADOOP_HOME/binexportPATH=$PATH:$HADOOP_HOME/sbinexportHADOOP_MAPRED_HOME=$HADOOP_HOMEexportHADOOP_COMMON_HOME=$HADOOP_HOMEexportHADOOP_HDFS_HOME=$HADOOP_HOMEexportYARN_HOME=$HADOOP_HOMEexportHADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/nativeexportHADOOP_OPTS="-DJava.library.path=$HADOOP_HOME/lib"exportJAVA_LIBRARY_PATH=$HADOOP_HOME/lib/native:$JAVA_LIBRARY_PATH复制到文件中保存退出3.有效文件源~/.bashrc4.修改配置文件etc/hadoop/core-site.xmlfs.defaultFShdfs://localhost:9000hadoop.tmp.dir/app/hadooptemp5.修改etc/hadoop/hdfs-site.xmldfs.replication1dfs.http.address0.0.0.0:98706。修改etc/hadoop/hadoop-env.shexportJAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.212.b04-0.el7_6.x86_647。修改etc/hadoop/yarn-env.sh文件exportJAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.212.b04-0.el7_6.x86_648。Modifysbin/stop-dfs.sh文件,在顶部增加HDFS_NAMENODE_USER=rootHDFS_DATANODE_USER=rootHDFS_SECONDARYNAMENODE_USER=rootYARN_RESOURCEMANAGER_USER=rootYARN_NODEMANAGER_USER=root9.修改sbin/start-dfs.sh文件,在顶部增加HDFS_NAMENODE_USER=rootHDFS_DATANODE_USER=rootHDFS_SECONDARYNAMENODE_USER=rootYARN_RESOURCEMANAGER_USER=rootYARN_NODEMANAGER_USER=root9-1.修改start-yarn.sh文件YARN_RESOURCEMANAGER_USER=rootHADOOP_SECURE_DN_USER=yarnYARN_NODEMANAGER_USER=root9-2。修改stop-yarn.sh文件YARN_RESOURCEMANAGER_USER=rootHADOOP_SECURE_DN_USER=yarnYARN_NODEMANAGER_USER=root以上这些命令主要是在你启动Hadoop的时候,会提示你认证失败10.格式化,进入hadoopbin文件夹,执行以下命令。/hdfsnamenode-format11.进入sbin文件夹,启动hadoop./start-dfs.sh也可以直接启动all./start-all.sh然后直接访问8088端口。12.在防火墙上打开端口。如果使用云服务器,请将9870端口添加到安全组入口//将9870端口添加到防火墙firewall-cmd--zone=public--add-port=9870/tcp--permanent//重启防火墙firewall-cmd--重新加载13。输入jps如果是4或者5就配置成功了,然后继续通过web访问hadoop,访问地址:http://IP地址:9870看到这个就说明我们安装成功了。注意Hadoop3.x版本HadoopWeb端口没有变,但是HDFS端口从50070变成了9870,这个需要注意,你学会了吗?