简介:Hive Metastore(HMS)是一种用于存储与Apache Hive和其他服务相关的元数据的服务,在后端 - 端RDBMS(例如MySQL或PostgreSQL)中。本文主要共享HMS数据库设置和优化。
如果您有本地群集,则需要知道如何为Hive Metastore(HMS)设置后端数据库。设置包括支持数据库,配置属性和指定的Metastore位置。您还可以配置可选连接参数。
您需要需要安装Hive Metastore(HMS)支持的数据库来存储元数据。您可以修改hive-size.xml。您可以使用Cloudera Manager安全阀功能,而不是命令行上的Hive Set key =值。
CDP公共云后端Hive Metastore数据库仅支持PostgreSQL,通常不需要手动安装。在CDP Private Cloud Base中,您需要安装,启动和配置后端数据库。
在此过程中,您将从Hiveserver安装数据库不同的节点/簇,以便与Hive,Impala,Spark和其他组件共享Hive Yuan Storage(HMS)。群集中的一个或多个HMS实例,在出现问题时可以接管。
安装支持的数据库。
在CDP私有云基础中,您可以通过使用Cloudera Manager安全阀函数来间接修改Hive -site.xml。要替换命令行上的Hive Set键=值,这是不支持的。
此任务假设数据库正在运行MyHost,用户帐户为HiveUser,并且密码为myPassword.将以下连接URL和驱动程序名称根据您的数据库类型进行。
mysql驱动程序名称:com.mysql.jdbc.driver
Postgres驱动程序名称:JDBC:PostgreSQL:// myHost/metastore
Oracle驱动程序名称:oracle.jdbc.oracledriver
2.群集中的Metastore主机配置指南> Hive Metastore>配置,然后搜索Javax.jdo.option.connectionurl。
3.在值中,使用以下语法来指定数据库连接字符串:: ///?CreateTabaseifNoteXist = true
在XML格式中,将出现XML配置片段。
除了在CDP私有云基础中设置的数据库属性外,必须配置Metastore URI属性。此属性定义一个或多个Metastore位置。
Metastore主机的IP地址或完全有限的域名(FQDN)替换
仅Hive Site.xml中的Hive Metastore Server默认组才能定义此属性。
您可以配置HMS数据库连接的精细粒子调整。您指定JDBC URL覆盖范围,具体取决于您的数据库,以构建与Hive Yuan存储数据库的连接。
此任务仅适用于高端数据库用户。当使用此覆盖范围时,将涵盖以下属性
2.单击以保存。
3.单击操作>部署客户端配置。
4.重新启动蜂巢账。
与其他调整过程类似,通用的元托尔调整涉及调整和测试,直到您发现可以改善Metastore性能的变更组合。调整建议包括硬件和软件更改。
通常,您需要限制与Hive Metastore的并发连接。随着连接的数量增加,延迟将增加。后端数据库问题,不当使用Hive(例如极其复杂的查询,连接泄漏和其他因素))会影响性能。
通常的Metastore调音
尝试进行以下更改以调整HMS性能:
mysql:例如,在 /etc/my.cnf中:
MariaDB:例如,在/etc/systemd/system/mariadb.service.d/limits.conf:
资料来源:阿里巴巴云