首先,我需要准备一个Linux环境,因为HBase是基于Java开发的,所以也需要安装Java环境。我选择了Ubuntu 18.04作为操作系统,使用apt-get命令安装了openjdk-8-jdk包。然后,我下载了Hadoop 3.2.2和HBase 2.4.0的压缩包,分别解压到了/home/hadoop/hadoop和/home/hadoop/hbase目录下。接下来,我需要对这两个软件进行一些配置。
对于Hadoop,我主要修改了以下几个配置文件:
1.etc/hadoop/core-site.xml:设置了fs.defaultFS为hdfs://localhost:9000,表示使用本地文件系统作为HDFS的名称节点。
2.etc/hadoop/hdfs-site.xml:设置了dfs.replication为1,表示数据块的副本数为1。
3.etc/hadoop/mapred-site.xml:设置了mapreduce.framework.name为yarn,表示使用YARN作为MapReduce的资源管理器。
4.etc/hadoop/yarn-site.xml:设置了yarn.nodemanager.aux-services为mapreduce_shuffle,表示启用MapReduce的shuffle服务。
5.etc/hadoop/hadoop-env.sh:设置了JAVA_HOME为/usr/lib/jvm/java-8-openjdk-amd64,表示Java环境的路径。
6.etc/hadoop/workers:添加了localhost一行,表示本地节点作为工作节点。
对于HBase,我主要修改了以下几个配置文件:
1.conf/hbase-env.sh:设置了JAVA_HOME为/usr/lib/jvm/java-8-openjdk-amd64,表示Java环境的路径。
2.conf/hbase-site.xml:设置了以下几个属性:
hbase.rootdir为hdfs://localhost:9000/hbase,表示HBase在HDFS上的根目录。