Linux下常用系统分析工具总结

对于程序员来说，整个计算机系统由四个重要的模块组成，即：CPU、网络、磁盘、内存。当我们的程序或系统出现问题时，我们应该按照一定的顺序检查这四个块。在Linux系统下，有很多高效的工具可以帮助我们分析和定位问题。本文简单介绍一些Linux下常用的工具，帮助读者对这些工具有一个初步的了解。如有不妥之处，欢迎大家指正和交流。1、CPU对于cpu，我们主要介绍top、strace、perf、vmstat。1.1toptop命令可以实时动态查看系统的整体运行状态。是一款集多方信息监控系统性能和运行信息于一体的实用工具。Top常用的可选参数及其对应的含义如下：(1)-c：显示完整的命令；(2)-d：屏幕刷新间隔时间；(3)-i：设置间隔时间；(4)-u<用户名>：指定用户名；(5)-p<进程号>：指定进程；(6)-n<次数>：循环显示的次数。topexecution的效果如下：前五行是系统的整体统计信息。第一行是任务队列信息，第二三行是进程和CPU信息，最后两行是内存信息。下面描述了一些更重要的参数。平均负载：0.60、0.94、1.04。loadaverage表示过去1分钟、5分钟、15分钟系统任务队列的平均长度。该值越大，系统CPU越忙。cpu(s):5.0%us（用户空间占用的cpu***），3.9%sy（系统空间占用的cpu百分比），0.0%ni（用户进程空间中更改了优先级的用户占用的cpu百分比），90.9%id（空闲cpu的百分比），0.2%wa（cpu等待输入输出的百分比）。内存：817280k缓冲区（用作内核缓存的内存量）。Swap：磁盘交换区容量。1.2stracetrace可以跟踪一个进程产生的系统调用，包括参数、返回值、执行时间等。strace的常用选项及选项对应的含义如下：(1)-c统计每次系统调用的执行时间、次数、出错次数等(2)-f跟踪childfork调用生成的进程(3)-t将时间信息添加到输出中的每一行(4)-tt将时间信息（以微秒为单位）添加到输出中的每一行中(5)-T显示每次调用花费的时间(6)-etrace=set只跟踪指定的系统调用。例如：-etrace=open,close,read,write表示只跟踪这四个系统调用。默认是set=all(7)-etrace=fileonlytracessystemcallsrelatedtofileoperations(8)-etrace=processonlytracessystemcallsrelatedtoprocesscontrol(9)-etrace=networktracesrelatedtothenetwork所有系统调用(10)-estrace=signal跟踪所有与系统信号相关的系统调用(11)-etrace=ipc跟踪所有与进程通信相关的系统调用(12)-ofilename将strace的输出写入Filefilename-ppid跟踪指定进程的pid例如执行stracecat/dev/null，会得到如下输出：每行是一个系统调用，等号左边是系统的函数名及其参数调用，右侧为调用返回值。如果您知道自己在寻找什么，您可以告诉strace只跟踪某些类型的系统调用。比如你需要查看loadconfigure脚本中执行的程序中系统调用ececve的调用情况，只需要输入这样一条shell命令：strace-f-oloadconfigure-strace.txt-eexecve./loadconfigure再比如，我们知道ActLogicSvr的进程号是16789，可以执行strace-p16789-c来统计一段时间内ActLogicSvr的系统调用情况。结果如下：这里很清楚的告诉你调用了哪些系统函数，调用了多少次，消耗了多少时间等等，这对我们分析一个程序很有用。1.3Perfperf是Linux的性能调优工具。perf工具常用的命令有top、record、report等，perftop命令用于显示程序运行的整体状态。该命令主要用于观察整个系统的当前状态。例如，您可以通过查看该命令的输出来查看当前系统中最耗时的内核函数或某个用户??进程。perfstat运行效果如下：perfrecord命令用于记录程序运行过程中指定事件的信息，perfreport命令用于上报根据该事件生成的程序运行状态报告上一条记录命令记录的信息。我们通常使用命令perfrecord-g-ppid将命令运行期间进程的每条指令的CPU占用率存储在perf.data中（-g表示记录函数之间的调用关系）。然后使用perfreport--call-graph--stdio来显示刚才的统计结果。当perfrecord有-g选项时，perfreport的运行效果：当perfrecord没有-g选项时，perfreport的运行效果：1.4vmstatvmstat是一个非常全面的性能分析工具，可以观察进程系统的状态和内存占用，虚拟内存占用，磁盘IO，中断，上下切换，CPU占用等。vmstat的输出结果如下：procs:-r：运行队列中的进程数，这个值也可以判断是否增加CPU。(longtermgreaterthan1)-b：因为io阻塞的进程数。memory:-swap:使用虚拟内存大小-free:空闲物理内存大小-buff:用作缓冲区的内存大小-cache:用作缓存的内存大小swap:si:每秒从交换区写入内存的大小，由磁盘决定传输到内存so:每秒写入交换区的内存大小，内存传输到磁盘io:-bi:从块设备（读磁盘）读取的数据总量（KB/s）-bo:writtento块设备上的数据总量（写入磁盘）（KB/s）system:-in:每秒产生的中断数-cs:每秒产生的上下文切换数cpu:-us：用户进程消耗的CPU时间百分比-sy：内核进程消耗的CPU时间百分比-wa：IO等待消耗的CPU时间百分比-id：空闲状态下的CPU时间百分比2.网络2.1netstat命令netstat命令在Linux中用于打印网络系统的状态信息，让你了解整个Linux系统的网络情况。netstat常用选项如下：(1)-a(all)显示所有选项(2)-t(tcp)只显示tcp相关选项(3)-u(udp)只显示udp相关选项(4)-l(listen)只列出Listen(监听)中的服务状态(5)-p(program)显示建立相关链接的程序名(6)-r(route)显示路由信息，路由表(7)-e(extend)显示扩展信息(8)-c每隔一定时间执行netstat命令。这里简单回顾一下TCP三次握手和四次挥手的过程，以便于在下面的netstat中解释一下tcp的各种状态。TCP三次握手的过程如下：(1)主动连接端向被动连接端发送SYN包；(2)被动连接端收到SYN包后，向主动连接端发送一个带ACK的SYN包。(3)主动连接端向被动连接端发送带有ACK标志的数据包，握手动作完成。TCP的四手挥手过程如下：(1)主动关闭端向被动关闭端发送FIN包。(2)被动关闭端收到FIN包后，向主动关闭端发送ACK包。(3)被动关闭端发送ACK包后，向主动关闭端发送FIN包。(4)主动关机端收到FIN包后，发送ACK包。当被动关闭端收到ACK后，四次挥手动作完成，断开连接。下面解释一下netstat中tcp连接对应的各种状态。(1)LISTEN：监听状态，等待远程机器的连接请求。(2)SYN_SEND：TCP三次握手过程中，主动连接发送SYN包后，进入SYN_SEND状态，等待对方的ACK包。(3)SYN_RECV：在三次TCP握手过程中，主动接收方收到SYN包后进入SYN_RECV状态。(4)ESTABLISHED：完成TCP三次握手后，活动连接进入ESTABLISHED状态。至此，TCP连接已经建立，可以进行通信了。(5)FIN_WAIT_1：当TCP挥手四次后，主动关闭终端并发送FIN包后，进入FIN_WAIT_1状态。(6)FIN_WAIT_2：当TCP挥手四次，收到ACK包后，主动关闭端进入FIN_WAIT_2状态。(7)TIME_WAIT：当TCP挥手4次，主动关闭端发送ACK包后，进入TIME_WAIT状态，等待被动关闭端收到ACK包最多2MSL时间。(8)CLOSING：在TCP的四次挥手过程中，主动关闭端发送FIN包后，没有收到相应的ACK包，而是收到了对方的FIN包，此时进入CLOSING状态。(9)CLOSE_WAIT：在TCP的四次wave中，被动关闭端收到FIN包后，进入CLOSE_WAIT状态。(10)LAST_ACK：当TCP挥手四次，被动关闭端发送FIN包后，进入LAST_ACK状态，等待对方的ACK包。netstat-te（显示所有tcp连接）作用如下：netstat常用方法：(1)netstat-p|grep19626：获取进程号为19626的进程打开的所有端口（2）netstat-tpl：查看当前tcp监听端口，需要显示监听程序的名称。（3）netstat-c2：每两秒执行一次netstat，不断输出2.2lsoflsof命令用于查看进程打开的文件，打开文件的进程，打开的端口（TCP、UDP）过程。在Linux环境下，一切都以文件的形式存在，通过文件不仅可以访问常规数据，还可以访问网络连接和硬件。使用TCP的UDP时，系统会在后台为应用程序分配一个文件描述符。无论文件的性质如何，这个文件描述符都为应用程序提供了一个与底层操作系统交互的通用接口。lsof的使用示例如下：输出项的含义如下：COMMAND：进程名PID：进程标识符USER：进程所有者FD：文件描述符，应用程序通过文件描述符。如cwd、txt等TYPE：文件类型，如DIR、REG等DEVICE：指定磁盘的名称SIZE：文件的大小NODE：索引节点（文件在磁盘上的标识)NAME：打开文件的确切名称lsof常用方法：(1)lsofabc.txt：查看所有打开过文件abc.txt的进程。(2)lsof-ppid：显示进程打开的所有文件。2.3tcpdumptcpdump可以完全拦截网络中传输的数据包并提供分析。支持针对网络层、协议、主机、网络或端口的过滤，提供and、or、not等逻辑语句，帮助您去除无用信息。tcpdump常用参数：(1)-nn，直接用IP和PortNumber显示，而不用hostname和servicename。(2)-i，后面是要“监控”的网络接口，如eth0、lo、ppp0等。(3)-w，如果要存储监控得到的数据包数据，用这个参数就对了。后跟文件名。(4)-c，要监控的数据包数。如果没有这个参数，tcpdump会一直监听，直到用户输入[ctrl]-c。(***，数据包内容以ASCII显示，通常用于抓取WWW网页数据包数据。(6)-e，使用数据连接层(OSIlayer2)的MAC数据包数据)来显示。(7)-q，只列出比较简短的数据包信息，每行内容比较简洁。(8)-X，可以列出十六进制（hex）和ASCII数据包内容，用于监控数据包content很有用。(9)-r，从下面的文件中读取包数据，那个“文件”是一个已经存在的文件，这个“文件”是-w做的tcpdump的常用用法：(1)tcpdump-ieth1host***.***.***.***：抓取所有通过eth1的流量，目的地址或源地址为***.***.***.***(2)tcpdump-ieth1dsthost***.***.***.***：捕获所有经过eth1的数据，目标地址为***.***.***.***的网络数据。(3)tcpdump-ieth1srchost***.***.***.***：捕获所有经过的eth1，源地址为***.***.***.*的网络数据**.(4)tcpdump-ieth1端口36000：捕获所有经过eth1的网络数据，目的端口或源端口为36000。(5)tcpdump-ieth1srcport36000：抓取所有经过eth1的网络数据，源端口为36000。(6)tcpdump-ieth1dstport36000：抓取所有经过eth1的网络数据，目的端口为36000网络数据。(7)tcpdump-ieth1'srchost***.***.***.***&&srcport36000'：抓取所有经过eth1的数据，目标地址为10.136。12.1，目的端口是36000的网络数据。(8)在10.136.12.1机器上，通过top我们知道ActLogicSvr的进程id是16789。然后使用netstat-ap|grep16789获取ActLogicSvr监听的10014端口。如下图所示：然后我们使用tcpdump-ieth1'port10014'-xxx抓取所有经过10014端口的数据包，我们通过模拟接口测试的方式向ActLogicSvr发送请求。抓包结果如下：从抓包中可以清楚的看到三次握手从tcp连接建立到数据传输到tcp连接断开时的四次握手的过程（前三个数据包是三次握手过程，***四个数据包是四次挥手的过程，中间一个是数据传输产生的网络数据包）。3内存3.1valgrindValgrind是Linux程序中广泛使用的调试应用程序。它特别擅长发现内存管理问题，可以在程序运行时检查内存泄漏。我们在使用valgrind的时候，主要也是利用了它的内存泄漏检测功能，也就是memcheck功能。它检查所有对内存的读/写操作并拦截所有malloc/new/free/delete调用。因此，memcheck工具可以检测到以下问题：（1）使用未初始化的内存（2）已释放的读写内存（3）读写内存越界（4）读写不合适的内存栈空间（5))内存泄漏(6)malloc/new/new[]的使用不匹配free/delete/delete[]。(7)src和dst的重叠valgrind的可选参数及对应含义如下：(1)-version显示valgrind内核的版本，每个工具都有自己的版本。(2)q–quiet安静运行，只打印错误信息。(3)v–verbose更详细的信息，增加错误统计数。(4)-trace-children=no|yes跟踪子线程(5)-track-fds=no|yes跟踪打开的文件描述(6)-time-stamp=no|yes添加时间戳到LOG信息中(7)-log-fd=向描述符输出LOG(8)-log-file=将输出信息写入文件filename.PID，PID为运行程序的进程ID(9)-log-file-exactly=OutputLOGinformationtofile(10)-log-file-qualifier=获取环境变量的值作为输出信息的文件名。(11)-log-socket=ipaddr:port输出LOG到socket，ipaddr:portLOG信息输出：(1)-xml=yes以xml格式输出信息，只有memcheck可用(2)-num-callers=在堆栈跟踪中显示个调用者[12](3)-error-limit=no|yes如果错误太多，是否停止显示新错误？[yes](4)-error-exitcode=如果发现错误则返回错误码[0=disable](5)-db-attach=no|yes出现错误时valgrind会自动启动调试器数据库。[no](6)-db-command=启动调试器的命令行选项[gdb-nw%f%p]Memcheck工具的相关选项：(1)--leak-check=no|summary|full求详细leak信息？[summary](2)--leak-resolution=low|med|high在泄漏检查中合并了多少bt[low](3)--show-reachable=no|yes在泄漏检查中显示可达块？[否]示例：valgrind--leak-check=full/usr/local/app/taf/tafnode/data/TenFortune.WeChatProxySvr/bin/WeChatProxySvr--config=/usr/local/app/taf/tafnode/data/TenFortune.WeChatProxySvr/conf/TenFortune.WeChatProxySvr.config.conf-trace-child=yes.执行结果：4个磁盘4.1iotopiotop命令是一个用来监控磁盘I/O使用情况的top工具。iotop有一个类似top的UI，包括PID、user、I/O、process等相关信息。Linux下的IO统计工具，如iostat、nmon等，大多只能统计perdevice的读写。如果想知道每个进程如何使用IO，那就比较麻烦了。您可以使用iotop命令轻松检查它。iostat命令选项：-o：只显示有io操作的进程-nNUM：显示NUM次，主要用于非交互模式。-dSEC：每SEC秒显示一次。-pPID：被监控的进程pid。-uUSER：被监控的进程用户。iotop的执行效果：5推荐阅读《Perf -- Linux下的系统性能调优工具》《Perf学习-Linux自带性能分析工具》《Perf使用教程》