当前位置: 首页 > 网络应用技术

[Hive] CDH5.13的Hivemetastore由于哨兵同步慢速查询锁锁锁

时间:2023-03-06 12:59:18 网络应用技术

  最近,该公司的集群突然放慢了速度。具体的表现形式是,在输入蜂巢后,提交查询句子,并且将在很长一段时间后将其提交给群集。并且集群资源更加空闲。因此,它不是由群集资源不足引起的。我还检查了一个大量在线文章,最后解决了问题。

  当提交SQL时,在入口阶段特别慢,有时甚至几分钟。第二阶段也非常慢。Hive的日志也有许多错误,例如相关错误,例如或同样的错误。

  在受影响的版本中,某些工作负荷可能导致蜂巢元马托尔(HMS)僵局。可以从此僵局中回收内部自动机制。,因此HMS的性能降低或悬挂。在转弯影响Hiveserver2的性能,这会影响查询性能。

  升级到受影响的版本后,如果工作负载的性能恶化或停滞不前,则可能会遇到此问题。如果使用MySQL或MariadB作为元数据库,则会在HMS中的日志中看到以下错误。

  1.CDH5.13.0,5.13.1,5.13.2

  2.CDH5.14.0

  3.同时使用蜂巢和哨兵

  1.升级到5.13.3或更高版本

  2.升级到5.14.2或更高版本

  如果您不能升级,以减轻此问题,请修改配置:

  使用此解决方案的副作用可能是某些DDL查询(例如由同名名称创建的删除表和新表)失败了,并显示了一个错误“无效特权”。这些查询应该能够解决此问题。

  如果问题在上述修改后仍然存在,请考虑升级到推荐的新版本。

  原始:https://juejin.cn/post/7099351617945731108