当前位置: 首页 > 科技观察

超详解MySQL数据库优化

时间:2023-03-23 11:05:56 科技观察

前言数据库优化一方面是找出系统的瓶颈,提高MySQL数据库的整体性能,另一方面需要合理的结构设计和参数调整来提高用户相应的速度,同时尽可能节省系统资源,使系统能够提供更大的负载。1.优化概述图2.优化作者将优化分为两类,软优化和硬优化。软优化一般只是对数据库进行操作,而硬优化优化则是对服务器硬件和参数设置的操作。2.1软优化2.1.1查询语句优化(1)首先,我们可以使用EXPLAIN或DESCRIBE(简称:DESC)命令来分析查询语句的执行信息。(2)例子:DESCSELECT*FROM`user`显示:会显示索引数、查询数据读取数据等信息。2.1.2优化子查询在MySQL中,尽量使用JOIN代替子查询。因为子查询需要嵌套查询,嵌套查询会创建临时表,临时表的建立和删除会有较大的系统开销,而连接查询不会创建临时表,所以效率比嵌套子查询。2.1.3使用索引索引是提高数据库查询速度最重要的方法之一,关于索引可以参考作者的一文,介绍的比较详细,这里是三大注意事项对于使用索引:(1)LIKE关键字匹配以'%'开头的字符串,不会使用索引。(2)OR关键字的两个字段必须使用索引,查询会使用索引。(3)使用多列索引必须满足最左匹配。2.1.4针对字段拆表对于较多的表,如果有些字段使用频率较低,此时应将其拆分成新表。2.1.5中间表可以为将要被大量连接查询的表创建中间表,从而减少查询的时间。连接很耗时。2.1.6添加冗余字段类似于创建中间表。添加冗余也是为了减少连接查询。2.1.7分析表、校验表、优化表分析表主要是分析表中的关键词分布,校验表主要是检查表中是否有错误,优化表主要是剔除删除或更新造成的表空间浪费。(1)分析表:使用ANALYZE关键字,如ANALYZETABLEuser;op:表示执行的操作。Msg_type:信息类型,包括status、info、note、warning、error。Msg_text:显示信息。(2)Checklist:使用CHECK关键字,比如CHECKTABLEuser[option]选项只对MyISAM有效,一共有五个参数值:QUICK:不扫描行,不检查错误的连接。FAST:只检查没有正确关闭的表。CHANGED:只检查自上次检查后发生变化的表和未正确关闭的表。MEDIUM:扫描行,验证删除的连接是否有效,也可以计算每一行的关键字校验和。EXTENDED:最全面的检查,全面搜索每一行关键字。(3)优化表:使用OPTIMIZE关键字,例如OPTIMIZE[LOCAL|NO_WRITE_TO_BINLOG]TABLEuser;LOCAL|NO_WRITE_TO_BINLOG表示不写入日志。优化表仅对VARCHAR、BLOB和TEXT有效。OPTIMIZETABLE语句可以消除文件碎片,并且只有Read锁。2.2硬优化2.2.1硬件三件套(1)配置多核高频cpu,多核可以执行多个线程。(2)配置大内存,增加内存,增加缓冲区的容量。因此,可以减少磁盘I/O时间,从而提高响应速度。(3)配置高速磁盘或合理分布磁盘:高速磁盘可以提高I/O,分布式磁盘可以提高并行操作的能力。2.2.2优化数据库参数优化数据库参数可以提高资源利用率,从而提高MySQL服务器的性能。MySQL服务的配置参数都在my.cnf或my.ini中。下面列出了几个对性能影响较大的参数。key_buffer_size:索引缓冲区大小table_cache:可以同时打开的表数query_cache_size和query_cache_type:前者是查询缓冲区的大小,后者是前面参数的切换,0表示不使用缓冲区,1表示使用缓冲区,但是查询中可以使用SQL_NO_CACHE表示不使用缓冲区,2表示只有在查询中明确指出才使用缓冲区,即SQL_CACHE。sort_buffer_size:排序缓冲区2.2.3分库分表因为数据库压力过大,第一个问题就是高峰期系统性能可能会下降,因为数据库负载过高会影响性能。还有一个,如果压力太大,你的数据库挂了怎么办?所以这个时候就必须把系统分库分表+读写分离,也就是把一个库拆分成多个库,部署在多个数据库服务上,然后作为主库来承载写请求。然后每个主库挂载至少一个从库,从库承载读请求。2.2.4缓存集群如果用户越来越多,这时候可以继续加机器。例如,在系统级别添加机器可以承载更高的并发请求。然后,如果数据库层面的写并发越来越高,扩容,增加数据库服务器。扩容机可以支持分库分表。如果数据库层面的读并发越来越高,扩容,增加从库。但是这里有个很大的问题:数据库本身并不是用来承载高并发请求的,所以一般来说,单台数据库机器每秒承载的并发量在几千量级,而数据库使用的机器都是比较高配置的,比较贵的机器,性价比非常高。如果只是简单地不断增加机器,其实是错误的。所以在高并发架构中通常会有一个缓存环节。缓存系统的设计是为了承载高并发。所以单机承载的并发量是每秒几万甚至几十万,高并发的承载能力比数据库系统高出一到两个数量级。因此,可以根据系统的业务特点,针对写少读多的请求引入缓存集群。具体来说,就是在写数据库的时候,同时向缓存集群写入一份数据,然后缓存集群来承载大部分的读请求。这样通过缓存集群,可以用更少的机器资源来承载更高的并发。结语一个完整复杂的高并发系统架构必然包括:各种复杂的自研基础设施系统。各种精美的建筑设计。所以一篇小文章顶多能起到抛砖引玉的效果,但是数据库优化的思路差不多。