简介：监控最佳实践--redis与业务接口后台======1.12020-12-04客户端redis集群版本监控暴增DB0CPU达到100%，导致数据库无法正常服务。经查，客户端业务中存在一个2M左右的大key，导致DB0阻塞。并且客户端使用的集群连接方式是默认的代理方式。如下图，由于DB0阻塞，其他节点无法正常服务；解决方案：客户端配合切断大关键业务的高频调用，请求恢复。图一：代理模式1.2思考这个问题导致客户端课程注册入口严重受损，引发深入思考。redis等产品在使用中的监控告警手段不够完善，不够细心，后来查看业务日志发现错误率逐渐变大，直到redis层面才发现问题表现出来。本次针对redis的bigkey问题，我们为客户提供了bigkey和hotkey的分析方法，并建议提高客户端监控告警和业务日志接口错误告警的可读性。数据库监控分析============2.1Redis监控指标分享Redis集群版云监控指标如下表所示。MonitoringitemunitMetricNameDimensionsStatisticsAverageresponsetimeusShardingAvgRtuserId,instanceId,nodeIdAverage,Maximumconnectionusage%ShardingConnectionUsageuserId,instanceId,nodeIdAverage,MaximumCPUusage%ShardingCpuUsageuserId,instanceId,nodeIdAverage,Maximumhitrate%ShardingHitRateUserId,instanceId,MaximytedirectionKBimteIncomingtraffic/sShardingIntranetInuserId,instanceId,nodeIdAverage,Maximum入站带宽使用率%ShardingIntranetInRatiouserId,instanceId,nodeIdAverage,最大出站流量KByte/sShardingIntranetOutuserId,instanceId,nodeIdAverage,最大出站带宽使用率%ShardingIntranetOutRatiouserId,instanceId,nodeIdAverage,Sharding缓存中的最大key个数,instanceId,nodeIdAverage,最大响应时间tuserIdMax,instanceId,nodeIdAverage,最大内存使用率%ShardingMemoryUsageuserId,instanceId,nodeIdAverage,MaximumQPS使用率%ShardingQPSUsageuserId,instanceId,nodeIdAverage,最大使用连接数ShardingUsedConnectionuserId,instanceIdage,最大内存使用率第二沙rdingUsedQPSuserId,instanceId,nodeIdAverage,Maximum2.2redislargekey分析1.在控制台选择对应的instance进行大key和Hotkey的分析图2：实例分析2.使用API??接口分析largekey和Hotkey。缓存分析和热键查询，详见文末资料[1]。2.3数据库同比监控的群组报警规则的创建更新到群组界面。2.3.1创建应用组图3：创建应用组2.3.2创建告警规则图4：创建告警规则图5：设置告警规则日志监控=========使用sls访问客户端日志，可以通过设置规则创建仪表板并实现警报。本方案中日志访问采用logtail方式进行内网传输。3.1安装logtail安装logtail的方法请参考文末资料[2]。3.2创建project和logstore登录日志服务控制台，依次创建region对应的project和logstore。图6：Project-logstore创建3.3数据访问向导客户端日志格式分别为json和log4j。3.3.1json选择json文本日志>选择现有机器组>对应的logtail配置图7：logtail配置1.设置索引对于多条json日志，需要将字段类型改为json。图8：设置索引2.查询分析图9：查询分析3.3.2log4j选择常规文本日志>选择已有机器组>对应Logtail配置1.常规标识首行图10：设置自动生成2.提取字段图11:日志提取字段3.设置索引注意：只对新写入的数据有效。图12：设置索引4.查询分析图13：查询分析3.4日志告警3.4.1仪表盘图14：仪表盘信息展示3.4.2告警点击仪器右上方导航栏中的告警，选择创建于下拉菜单。图15：创建告警图16：告警内容设置作者：SRE团队技术编辑-小玲原文链接
