当前位置: 首页 > 数据应用 > HBase

HBase安装部署的过程与体会

时间:2023-07-02 21:33:06 HBase

首先,我需要准备一个Linux环境,因为HBase是基于Java开发的,所以也需要安装Java环境。我选择了Ubuntu 18.04作为操作系统,使用apt-get命令安装了openjdk-8-jdk包。然后,我下载了Hadoop 3.2.2和HBase 2.4.0的压缩包,分别解压到了/home/hadoop/hadoop和/home/hadoop/hbase目录下。接下来,我需要对这两个软件进行一些配置。

对于Hadoop,我主要修改了以下几个配置文件:

1.etc/hadoop/core-site.xml:设置了fs.defaultFS为hdfs://localhost:9000,表示使用本地文件系统作为HDFS的名称节点。

2.etc/hadoop/hdfs-site.xml:设置了dfs.replication为1,表示数据块的副本数为1。

3.etc/hadoop/mapred-site.xml:设置了mapreduce.framework.name为yarn,表示使用YARN作为MapReduce的资源管理器。

4.etc/hadoop/yarn-site.xml:设置了yarn.nodemanager.aux-services为mapreduce_shuffle,表示启用MapReduce的shuffle服务。

5.etc/hadoop/hadoop-env.sh:设置了JAVA_HOME为/usr/lib/jvm/java-8-openjdk-amd64,表示Java环境的路径。

6.etc/hadoop/workers:添加了localhost一行,表示本地节点作为工作节点。

对于HBase,我主要修改了以下几个配置文件:

1.conf/hbase-env.sh:设置了JAVA_HOME为/usr/lib/jvm/java-8-openjdk-amd64,表示Java环境的路径。

2.conf/hbase-site.xml:设置了以下几个属性:

hbase.rootdir为hdfs://localhost:9000/hbase,表示HBase在HDFS上的根目录。