当前位置: 首页 > 网络应用技术

HMS数据库设置和优化

时间:2023-03-05 20:02:58 网络应用技术

  简介:Hive Metastore(HMS)是一种用于存储与Apache Hive和其他服务相关的元数据的服务,在后端 - 端RDBMS(例如MySQL或PostgreSQL)中。本文主要共享HMS数据库设置和优化。

  如果您有本地群集,则需要知道如何为Hive Metastore(HMS)设置后端数据库。设置包括支持数据库,配置属性和指定的Metastore位置。您还可以配置可选连接参数。

  您需要需要安装Hive Metastore(HMS)支持的数据库来存储元数据。您可以修改hive-size.xml。您可以使用Cloudera Manager安全阀功能,而不是命令行上的Hive Set key =值。

  CDP公共云后端Hive Metastore数据库仅支持PostgreSQL,通常不需要手动安装。在CDP Private Cloud Base中,您需要安装,启动和配置后端数据库。

  在此过程中,您将从Hiveserver安装数据库不同的节点/簇,以便与Hive,Impala,Spark和其他组件共享Hive Yuan Storage(HMS)。群集中的一个或多个HMS实例,在出现问题时可以接管。

  安装支持的数据库。

  在CDP私有云基础中,您可以通过使用Cloudera Manager安全阀函数来间接修改Hive -site.xml。要替换命令行上的Hive Set键=值,这是不支持的。

  此任务假设数据库正在运行MyHost,用户帐户为HiveUser,并且密码为myPassword.将以下连接URL和驱动程序名称根据您的数据库类型进行。

  mysql驱动程序名称:com.mysql.jdbc.driver

  Postgres驱动程序名称:JDBC:PostgreSQL:// myHost/metastore

  Oracle驱动程序名称:oracle.jdbc.oracledriver

  2.群集中的Metastore主机配置指南> Hive Metastore>配置,然后搜索Javax.jdo.option.connectionurl。

  3.在值中,使用以下语法来指定数据库连接字符串:: ///?CreateTabaseifNoteXist = true

  在XML格式中,将出现XML配置片段。

  除了在CDP私有云基础中设置的数据库属性外,必须配置Metastore URI属性。此属性定义一个或多个Metastore位置。

  Metastore主机的IP地址或完全有限的域名(FQDN)替换本质

  仅Hive Site.xml中的Hive Metastore Server默认组才能定义此属性。

  您可以配置HMS数据库连接的精细粒子调整。您指定JDBC URL覆盖范围,具体取决于您的数据库,以构建与Hive Yuan存储数据库的连接。

  此任务仅适用于高端数据库用户。当使用此覆盖范围时,将涵盖以下属性

  2.单击以保存。

  3.单击操作>部署客户端配置。

  4.重新启动蜂巢账。

  与其他调整过程类似,通用的元托尔调整涉及调整和测试,直到您发现可以改善Metastore性能的变更组合。调整建议包括硬件和软件更改。

  通常,您需要限制与Hive Metastore的并发连接。随着连接的数量增加,延迟将增加。后端数据库问题,不当使用Hive(例如极其复杂的查询,连接泄漏和其他因素))会影响性能。

  通常的Metastore调音

  尝试进行以下更改以调整HMS性能:

  mysql:例如,在 /etc/my.cnf中:

  MariaDB:例如,在/etc/systemd/system/mariadb.service.d/limits.conf:

  资料来源:阿里巴巴云