当前位置: 首页 > 科技观察

慢查询如何找到Redis的性能瓶颈?

时间:2023-03-21 10:51:55 科技观察

Redis数据库是一个基于内存的key-value存储系统。现在redis最常见的使用场景就是存储缓存数据。当需要高速读写时,可用于快速读写,从而减轻应用数据库的负载。压力,从而提高应用处理能力。由于Redis的单线程架构,每条命令都需要快速执行,否则Redis可能会被阻塞。理解Redis的单线程命令处理机制是开发和维护Redis的核心之一。很多数据库都提供了慢查询日志,帮助开发者和运维人员定位系统中的慢操作。所谓慢查询日志,就是系统计算每条命令执行前后的执行时间。当然,数据库中最常见的就是select这些SQL语句。当超过预设的阈值时,记录该命令的相关信息(例如:命令的发生时间、耗时、详细信息),Redis也提供了类似的功能。那么如何使用Redis提供的慢查询功能呢?Redis主要提供了两个配置参数slowlog-log-slower-than和slowlog-max-len来提供这个功能。这两个参数分别用于设置慢查询的阈值和存储慢查询的记录。首先对redis的两个配置做一个说明:从字面意思可以看出slowlog-log-slower-than参数在什么情况下可以用来设置慢语句,只有redis命令执行时间大于slowlog-log-slower-than会被定义为慢查询,会被slowlog记录下来。它的单位是微秒(1秒=1000毫秒=1000000微秒)。在初始情况下,默认值为10000,即10ms。如果执行的是慢命令,如果它的执行时间超过10ms,那么就会记录在慢查询日志中。(如果slowlog-log-slower-than=0会记录所有的命令,slowlog-log-slowerthan<0则不会记录任何命令)从字面上看,slowlog-max-len表示慢查询日志最多可以记录多少条被存储。实际上,Redis使用一个列表来存储慢查询日志。slowlog-max-len是列表的最大长度。它本身就是一个先进先出队列。当slowlog超过设置的最大值时,会删除最旧的slowlog。简而言之,当一条新命令满足慢查询条件时,就会被插入到这个列表中。当慢查询日志列表达到最大长度时,最早插入的命令将从列表中移除,比如slowlog-max-如果len设置为50,当第51个慢查询插入时,第一个数据在队列的头部将被出队,第51个慢查询将被入队。下面详细介绍一下这两个参数的配置方法。有两种配置方式。以下截图均使用redis-5.0.5版本:方法一:通过配置redis.conf文件进行配置。修改redis.conf文件,重启redis服务后,配置生效。方式二:使用CONFIG命令进行动态配置。如果配置查询时间超过1毫秒,则记录并保存500条慢查询记录。使用configget命令确认配置已经生效。注意通过config命令的配置是动态生效的。一旦服务重新启动,它将重新启动。恢复到默认设置,所以建议在排查问题时通过config进行配置,但等服务稳定后修改配置文件做最后确认(可以使用configrewrite命令持久化到本地文件,但是你必须先启动redis)指定redis。conf文件以使此命令生效)。相关参数都设置好了,那么如何查看记录的信息呢?查看记录的日志,主要使用SLOWLOGGET或者SLOWLOGGETnumber命令,前者会输出所有慢日志,最大长度取决于slowlog-max-len选项的值,而SLOWLOGGETnumber只会打印指定数量的日志。查看当前日志条数:使用SHOWLEN命令查看日志条数。因为我是新装的redis,还没有耗时长的日志,所以条目数为0。如果日志太多,也可以使用slowlogreset命令清空日志。为了演示方便,我记录了所有的执行命令,以第一个为例,1,(integer)1#Unique(unique)logidentifier2,(integer)1562075522#执行记录命令的时间点,表示inUNIXtimestampformat3,(integer)93#查询执行时间,单位微秒4,1."CONFIG"#执行的命令,以数组的形式排列5,"GET"6,""#这里完整的命令是CONFIGGET慢查询功能可以有效帮助我们找到Redis可能存在的瓶颈,但是在实际使用过程中需要注意以下几点:slowlog-max-len配置建议:网上建议增加慢查询列表,Redis会记录慢查询时截断长命令,不会占用大量内存。增加慢查询列表可以降低慢查询被淘汰的可能性。比如在线可以设置为2000以上(5.0.5版本默认为128)。slowlog-log-slower-than建议配置:默认值超过10毫秒,判断为慢查询,需要根据Redis并发量调整该值。由于Redis采用单线程响应命令,对于高流量场景,如果命令执行时间超过1毫秒,那么Redis最多可以支持不到1000OPS。因此,Redis针对高OPS场景的建议设置为1毫秒(OPS是指每秒的操作数)。慢查询只记录命令执行时间,不包括命令排队和网络传输时间。因此,客户端执行命令的时间会比命令实际执行的时间长。因为命令执行排队机制,慢查询会造成其他命令的级联阻塞。因此,当客户端请求超时时,需要检查该时间点是否有对应的慢查询,从而分析是否是慢查询导致的命令级联阻塞。由于慢查询日志是一个先进先出的队列,也就是说,如果慢查询很多,可能会丢失一些慢查询命令。为了防止这种情况发生,可以周期性的执行slowget命令,将慢查询日志持久化到其他存储中,进而进行相关的监控、告警、分析等工作。