Linux系统资源分析手段：CPU，内存，磁盘与网络IO的瓶颈定位

前言：性能分析手段的应用场景

用于优化：

在程序编码完成后，我们通常要对自己编写的工具进行功能测试与性能分析。

用于监控：

在观察某个系统的运行情况时，需要观察系统内多个中间件及组件的资源占用情况。

用于测试：

在开启某个服务时，我们需要拥有对于该服务运行时资源占用的量化手段。

在这些场景下，我我们需要一些调试手段帮我们量化进程对于系统资源的占用情况。

对于以上三种场景，有如下常用基本调试命令：

常用调试命令汇总

借助汇总角度的系统资源统计工具，我们可以快速清晰地定位进程的性能瓶颈是因为cpu太过密集还是io太慢，是因为内存不足或者是因为网络拥塞。

一般情况下，CPU大部分的时间片都是消耗在用户态和内核态上。

sys和user间的比例是相互影响的，%sys比例高意味着被测服务频繁的进行用户态和系统态之间的切换，会带来一定的CPU开销，这样分配处理业务的时间片就会较少，造成系统性能的下降。

对于IO密集型系统，无论是网络IO还是磁盘IO，一般都会产生大量的中断，从而导致%sys相对升高，其中磁盘IO密集型系统，对磁盘的读写需要占用大量的CPU，会导致%iowait的值一定比例的升高，所以当出现%iowait较高时，需排查是否存在大量的不合理的日志操作，或者频繁的数据载入等情况；

dstat

dstat是一个命令行工具，用于监控系统资源使用情况。它可以展示CPU、内存、磁盘I/O、网络流量等数据，帮助用户了解系统的整体运行情况。

下面是dstat命令默认情况下展示的内容：

CPU信息：包括CPU使用率、上下文切换次数、中断次数、软中断次数等。
内存信息：包括物理内存使用情况、交换空间使用情况等。
磁盘I/O信息：包括每秒读写速度、IOPS（每秒I/O操作数）等。
网络信息：包括发送/接收数据包数量、发送/接收速度等。
系统信息：包括每秒钟的进程创建数量、系统时间等。

此外，dstat还支持许多插件，可以展示更加详细的信息，例如TCP连接数量、磁盘空间使用情况、进程状态等。用户可以通过指定插件名称或缩写来启用相应的插件。

上图显示了cpu使用情况，磁盘io情况，网络发包情况和换页情况，输出是彩色的，可读性较强，相对于vmstat和iostat的输入更加详细且较为直观。

相关视频推荐

c/c++程序员进个大厂很难吗？来看看这套腾讯T9认证的C++后端开发技术（数据结构、网络编程、网络原理、中间件、开源框架、云原生、分布式）https://www.bilibili.com/video/BV1cP4y1k7xt/

Linux C/C++开发（后端/音视频/游戏/嵌入式/高性能网络/存储/基础架构/安全）

需要C/C++ Linux服务器架构师学习资料加qun812855908获取（资料包括C/C++，Linux，golang技术，Nginx，ZeroMQ，MySQL，Redis，fastdfs，MongoDB，ZK，流媒体，CDN，P2P，K8S，Docker，TCP/IP，协程，DPDK，ffmpeg等），免费分享

pidstat

pidstat展示了各个进程或使用-e 指定进程的系统资源的情况,如CPU,内存、设备IO、任务切换、线程等。

列名	功能
列名 功能 PID：进程ID号。
%usr	进程在用户态下所占用CPU的时间百分比。即进程在执行用户程序时，所占用的CPU时间百分比。
%system	进程在内核态下所占用CPU的时间百分比。即进程在执行内核中的系统调用、等待I/O操作时所占用的CPU时间百分比。
%guest	虚拟机（VM）上运行的客户机操作系统所消耗的CPU时间百分比。通俗来说，就是虚拟机中运行的程序所占用的CPU时间百分比。
%CPU	进程占用的CPU总时间百分比（包括用户态和内核态），这个值可能会超过100%，因为它是根据CPU核心数量计算的。
CPU	处理器编号，如果系统只有一个CPU，则该值始终为0。
Command	进程名字。

注意：以上数据中的“%”表示占用率百分比。

top

top 命令的汇总区域显示了五个方面的系统性能信息：负载、进程状态、cpu使用率、内存使用、交换分区。

top是大家常用的系统信息查看命令，号称linux的任务管理器。他展示的内容有

1.任务计数：包括任务总数，运行中任务计数，休眠任务计数，终止任务计数，僵尸任务计数等。

2.%Cpu(s)：CPU使用情况统计，包括：

用户态进程占用CPU的时间百分比（us）

内核态进程占用CPU的时间百分比（sy）

优先级调整占用CPU的时间百分比（ni）

空闲状态占用CPU的时间百分比（id）

等待I/O操作占用CPU的时间百分比（wa）

硬件中断占用CPU的时间百分比（hi）

软件中断占用CPU的时间百分比（si）

以及虚拟化占用CPU的时间百分比（st）

3.KiB Mem：内存使用情况统计，包括总内存大小、空闲内存大小、已使用内存大小和缓存大小等信息。

4.KiB Swap：交换分区使用情况统计，包括总交换分区大小、空闲交换分区大小和已使用交换分区大小等信息。

列名	功能
PID	进程号。
USER	进程所有者的用户名。
PR	进程优先级。
NI	进程优先级数值（nice值），负值表示高优先级，正值表示低优先级。
VIRT	进程使用的虚拟内存大小。
RES	进程正在使用或保留的物理内存大小。
SHR	进程正在使用的共享内存大小。
S	进程的状态。其中，D表示不可中断的休眠状态，R表示可中断的休眠状态，S表示睡眠状态，T表示停止状态，Z表示僵尸状态。
%CPU	进程占用CPU时间百分比。
%MEM	进程使用的物理内存百分比。
TIME+	进程使用CPU时间的累积值。
COMMAND	进程命令名称或命令行参数。

top运行过程中可以使用数字键1（非小键盘），查看cpu占用信息

同时推荐一款iotop LINUX进程实时监控工具，界面风格类似top命令

以及htop：

ps

ps命令是Linux操作系统中的一个常用命令，用于显示当前运行进程的状态和信息。在Linux中，每个进程都有一个唯一的进程ID（PID），并且可以根据进程的状态来进行分类。

直接执行显示当前进程的状态：

下面是一些ps命令的常用选项和参数，可以配合grep进行具体进程信息查看：

1. ps -ef：列出系统上所有运行的进程的详细信息。

2. ps aux：与“ps -ef”相似，但使用Unix风格的选项语法。

3. ps -auxf：以树状结构显示进程之间的关系。

4. ps -u username：只列出特定用户运行的进程。

5. ps -aux | grep keyword：搜索包含关键字的进程。

strace

跟踪程序执行过程中产生的系统调用及接收到的信号，帮助分析程序或命令执行中遇到的异常情况。

ltrace

A library call tracer 跟踪进程调用库函数的情况

lsof

lsof是"list open files"的缩写，用于列出当前系统打开的文件（包括网络连接、设备、管道等）。 常用选项：

-i：列出所有网络连接
-c：根据进程名筛选
-p：根据进程ID筛选
-u：根据用户ID筛选

有以下几个比较好用的选项

列出某个端口的网络连接：lsof -i:PORT
列出某个应用程序使用的文件：lsof -c APPNAME
列出某个目录下所有打开的文件：lsof +D  DIRECTORY

perf

perf 是Linux kernel自带的系统性能优化工具。优势在于与Linux Kernel的紧密结合，它可以最先应用到加入Kernel的new feature，用于查看热点函数，查看cashe miss的比率，从而帮助开发者来优化程序性能。

最主要的功能是用来查看某个cpu在执行某函数消耗的性能百分比，结合线程cpu绑核可以清晰地量化某个线程的性能损耗；

sar

sar命令是一个性能分析工具，可以通过收集系统的各种统计数据，如CPU利用率、内存使用情况、磁盘活动等来监测系统的运行状态。sar命令可用于实时监控和历史记录，还可以生成报告以便更深入地分析数据。

-u：显示CPU的使用情况
-r：显示内存的使用情况
-d：显示磁盘的活动情况
-n：显示网络的使用情况
-p：显示进程的活动情况

如每隔1秒钟收集一次网络中tcp使用情况并显示在屏幕上。

如果想使用更专业的性能测试工具，可以使用sysbench，sysbench是一个模块化、跨平台、多线程基准测试工具，可用于以下性能测试：

CPU性能
磁盘IO性能
调度程序性能
内存分配及传输速度
POSIX线程性能
数据库性能（OLTP基准测试）

Linux CPU使用率主要是从以下几个维度进行统计：

%usr：普通进程在用户模下下执行的时间；
%sys：进程在内核模式下的执行时间；
%nice：被提高优先级的进程在用户模式下的执行时间；
%idle：空闲时间。
%iowait：等待I/O完成的时间。
%irp：处理硬中断请求花费的时间。
%soft：处理软中断请求花费的时间。
%steal：是衡量虚拟机CPU的指标，是指分配给本虚拟机的时间片被同一宿主机别的虚拟机占用，一般%steal值较高时，说明宿主机的资源使用已达到瓶颈；

以下是针对性更强的命令，也许展示的信息不是那么全面，但是当我们通过上述命令定位到问题，只关心某一方面系统参数时，以下命令更为合适。

CPU

uptime

uptime 能够打印系统总共运行了多长时间和系统的平均负载，uptime命令最后输出的三个数字的含义分别是1分钟，5分钟，15分钟内系统的平均负荷；

内存

free:

列名	内容 ，单位为KB
total	内存容量总大小
used	已使用的内存总量
free	空闲内存的大小
shared	多个进程共享的内存总量
buff/cache	缓冲区占用的内存量，通常被看作是空闲内存，因为它们都是在内存中缓存数据，以便更快地访问它们。
available	可用的内存
交换/swap	交换区的占用情况，如果swap中存在used，并且持续增长或变动，说明内存空间不足，操作系统需要频繁地从硬盘中做内存映射，维护内存空间的上下文换入换出，这会很大程度上影响系统性能

vmstat

vmstat是一个虚拟内存统计工具，用于监测系统的虚拟内存状态和进程活动情况。

vmstat：VirtualMeomoryStatistics,虚拟内存统计。显示的信息包括：

列名	内容
procs	包括运行队列的进程数（r）和处于中断状态的进程数（b）
memory	包括物理内存（swpd）、空闲内存（free）、缓存（buffs）和被占用的缓存（cache）
swap	包括交换空间使用量（si（swap in） 和 so（swap out）），si和so分别表示从磁盘读入和写出到磁盘的数据大小
io	包括硬盘IO（bi 和 bo），bi和bo表示每秒钟读取和写入块的数量
system	包括CPU使用率（%sys 和 %user）和上下文切换次数（ctxt）。
cpu	包括CPU使用率（idle、system、user、iowait和irq），us、sy、id、wa和irq分别表示用户进程、系统进程、空闲CPU时间、等待IO操作和处理硬件中断的CPU时间百分比。

磁盘

iostat

iostat -x 用于报告中央处理器（CPU）统计信息和整个系统、适配器、tty 设备、磁盘和 CD-ROM 的输入/输出统计信息

CPU部分	介绍
user	用户级别进程使用CPU的百分比
nice	低优先级进程使用CPU的百分比
system	内核级别进程使用CPU的百分比
iowait	等待I/O操作完成时CPU处于空闲状态的百分比
steal	如果主机是虚拟化的并且其他虚拟机需要更多资源，那么此字段表示互相抢夺CPU的百分比
idle	CPU处于空闲状态的百分比

网络

ping

ping命令为用户提供基于icmp的网络探测服务，可用来快速查看某ip或域名是否可达。

netstat

netstat：用于显示与IP、TCP、UDP和ICMP协议相关的统计数据，一般用于和grep配合检验本机各端口的网络连接情况。

tcpdump

tcpdump是一个网络数据包分析工具，可以捕获和解析从网络中传输的数据包，也是网工从业者的好帮手。 基本语法：

tcpdump [options] [expression]

参数说明：

-i：指定要监听的网络接口，如eth0。
-n：不进行DNS反向查询，直接显示IP地址。
-A：以ASCII文本形式显示数据包内容。
-X：以16进制和ASCII文本混合形式显示数据包内容。
-q：快速模式，只显示关键信息，不输出详细信息。
-c：指定要捕获的数据包数量。
-s：指定要捕获的数据包长度。
-v：详细模式，显示更为详细的信息。
-vv：非常详细模式，显示更为详细的信息。
-w：将捕获到的数据包保存到文件中。
-r：读取保存在文件中的数据包。

表达式说明：

tcpdump支持使用表达式来过滤数据包。表达式可以根据协议类型、数据包来源和目标、端口号等条件来进行过滤。常见表达式如下：

host：指定数据包的来源或目标主机。
net：指定数据包的来源或目标网络。
port：指定数据包的源或目标端口。
tcp、udp、icmp：指定数据包的协议类型。
and、or、not：逻辑运算符，用于组合表达式。
dst、src：指定数据包的目标或来源地址。

比如从ens33网卡捕获80端口，ip为本机的包，限制12帧并落地为dump.pcap文件，也可以从某个pcap包读取帧；