最近,该公司的集群突然放慢了速度。具体的表现形式是,在输入蜂巢后,提交查询句子,并且将在很长一段时间后将其提交给群集。并且集群资源更加空闲。因此,它不是由群集资源不足引起的。我还检查了一个大量在线文章,最后解决了问题。
当提交SQL时,在入口阶段特别慢,有时甚至几分钟。第二阶段也非常慢。Hive的日志也有许多错误,例如相关错误,例如或同样的错误。
在受影响的版本中,某些工作负荷可能导致蜂巢元马托尔(HMS)僵局。可以从此僵局中回收内部自动机制。,因此HMS的性能降低或悬挂。在转弯影响Hiveserver2的性能,这会影响查询性能。
升级到受影响的版本后,如果工作负载的性能恶化或停滞不前,则可能会遇到此问题。如果使用MySQL或MariadB作为元数据库,则会在HMS中的日志中看到以下错误。
1.CDH5.13.0,5.13.1,5.13.2
2.CDH5.14.0
3.同时使用蜂巢和哨兵
1.升级到5.13.3或更高版本
2.升级到5.14.2或更高版本
如果您不能升级,以减轻此问题,请修改配置:
使用此解决方案的副作用可能是某些DDL查询(例如由同名名称创建的删除表和新表)失败了,并显示了一个错误“无效特权”。这些查询应该能够解决此问题。
如果问题在上述修改后仍然存在,请考虑升级到推荐的新版本。
原始:https://juejin.cn/post/7099351617945731108