性能分析工具 - 图1

vmstat

vmstat(VirtualMeomoryStatistics,虚拟内存统计) 是Linux中监控内存的常用工具,可对操作系统的虚拟内存、进程、CPU等的整体情况进行监视。
vmstat的常规用法：vmstat interval times即每隔interval秒采样一次，共采样times次，如果省略times,则一直采集数据，直到用户手动停止为止。

  1. [root@ip-172-31-41-181 memtester-4.5.0]# vmstat 5
  2. procs -----------memory---------- ---swap-- -----io---- -system-- ------cpu-----
  3.  r  b   swpd   free   buff  cache   si   so    bi    bo   in   cs us sy id wa st
  4.  2  0      0 215724     60 426272    0    0   336   393  231  233 12  1 87  0  0
  5.  0  0      0 215664     60 426272    0    0     0     0   94  214  0  0 100  0  0

第一行显示了系统自启动以来的平均值，第二行开始显示现在正在发生的情况，接下来的行会显示每5秒间隔发生了什么，每一列的含义在头部，如下所示：
▪ procs：r这一列显示了多少进程在等待cpu，b列显示多少进程正在不可中断的休眠（等待IO）。
▪ memory：swapd列显示了多少块被换出了磁盘（页面交换），剩下的列显示了多少块是空闲的（未被使用），多少块正在被用作缓冲区，以及多少正在被用作操作系统的缓存。
▪ swap：显示交换活动：每秒有多少块正在被换入（从磁盘）和换出（到磁盘）。
▪ io：显示了多少块从块设备读取（bi）和写出（bo）,通常反映了硬盘I/O。
▪ system：显示每秒中断(in)和上下文切换（cs）的数量。
▪ cpu：显示所有的cpu时间花费在各类操作的百分比，包括执行用户代码（非内核），执行系统代码（内核），空闲以及等待IO。

内存不足的表现：free memory急剧减少，回收buffer和cacher也无济于事，大量使用交换分区（swpd）,页面交换（swap）频繁，读写磁盘数量（io）增多，缺页中断（in）增多，上下文切换（cs）次数增多，等待IO的进程数（b）增多，大量CPU时间用于等待IO（wa）

iostat

iostat用于报告中央处理器（CPU）统计信息和整个系统、适配器、tty 设备、磁盘和 CD-ROM 的输入/输出统计信息，默认显示了与vmstat相同的cpu使用信息，使用以下命令显示扩展的设备统计：

[root@ip-172-31-41-181 memtester-4.5.0]# iostat  -dx 5
Linux 4.18.0-240.1.1.el8_3.x86_64 (ip-172-31-41-181.cn-northwest-1.compute.internal)     03/24/2021     _x86_64_    (1 CPU)

Device            r/s     w/s     rkB/s     wkB/s   rrqm/s   wrqm/s  %rrqm  %wrqm r_await w_await aqu-sz rareq-sz wareq-sz  svctm  %util
xvda             8.33    6.72    328.28    385.38     0.00     4.95   0.02  42.42    1.03    2.71   0.02    39.40    57.39   0.50   0.75

Device            r/s     w/s     rkB/s     wkB/s   rrqm/s   wrqm/s  %rrqm  %wrqm r_await w_await aqu-sz rareq-sz wareq-sz  svctm  %util
xvda             0.00    0.00      0.00      0.00     0.00     0.00   0.00   0.00    0.00    0.00   0.00     0.00     0.00   0.00   0.00

第一行显示的是自系统启动以来的平均值，然后显示增量的平均值，每个设备一行。
常见linux的磁盘IO指标的缩写习惯：rq是request,r是read,w是write,qu是queue，sz是size,a是verage,tm是time,svc是service。
▪rrqm/s和wrqm/s：每秒合并的读和写请求，“合并的”意味着操作系统从队列中拿出多个逻辑请求合并为一个请求到实际磁盘。
▪r/s和w/s：每秒发送到设备的读和写请求数。
▪rsec/s和wsec/s：每秒读和写的扇区数。
▪avgrq –sz：请求的扇区数。
▪avgqu –sz：在设备队列中等待的请求数。
▪await：每个IO请求花费的时间。
▪svctm：实际请求（服务）时间。
▪%util：至少有一个活跃请求所占时间的百分比。

dstat

dstat显示了cpu使用情况，磁盘io情况，网络发包情况和换页情况，输出是彩色的，可读性较强，相对于vmstat和iostat的输入更加详细且较为直观。在使用时，直接输入命令即可，当然也可以使用特定参数。
dstat -cdlmnpsy
image.png

iotop

iotop命令是专门显示硬盘IO的命令，界面风格类似top命令，可以显示IO负载具体是由哪个进程产生的。是一个用来监视磁盘I/O使用状况的top类工具，具有与top相似的UI，其中包括PID、用户、I/O、进程等相关信息。
image.png

pidstat

pidstat主要用于监控全部或指定进程占用系统资源的情况,如CPU,内存、设备IO、任务切换、线程等。
使用方法：
pidstat –d interval 监控磁盘
pidstat –u interval 监控CPU
Pidstat –r interval 监控内存
image.png

top

top命令的汇总区域显示了五个方面的系统性能信息：
1.负载：时间，登陆用户数，系统平均负载；
2.进程：运行，睡眠，停止，僵尸；
3.cpu:用户态，核心态，NICE,空闲，等待IO,中断等；
4.内存：总量，已用，空闲（系统角度），缓冲，缓存；
5.交换分区：总量，已用，空闲
任务区域默认显示：进程ID,有效用户，进程优先级，NICE值，进程使用的虚拟内存，物理内存和共享内存，进程状态，CPU占用率，内存占用率，累计CPU时间，进程命令行信息。

image.png
https://www.linux.com/training-tutorials/uncover-meaning-tops-statistics/

mpstat

mpstat 是Multiprocessor Statistics的缩写，是实时系统监控工具。其报告与CPU的一些统计信息，这些信息存放在/proc/stat文件中。在多CPUs系统里，其不但能查看所有CPU的平均状况信息，而且能够查看特定CPU的信息。常见用法：mpstat –P ALL interval times。

root@ip-172-31-210-101:~# mpstat -P ALL
Linux 5.4.0-1029-aws (ip-172-31-210-101)     03/24/21     _x86_64_    (2 CPU)

07:10:53     CPU    %usr   %nice    %sys %iowait    %irq   %soft  %steal  %guest  %gnice   %idle
07:10:53     all    2.87    0.00    1.05    0.12    0.00    0.07    0.77    0.00    0.00   95.12
07:10:53       0    2.88    0.01    1.05    0.12    0.00    0.07    0.67    0.00    0.00   95.20
07:10:53       1    2.86    0.00    1.04    0.12    0.00    0.06    0.87    0.00    0.00   95.03、

netstat

Netstat用于显示与IP、TCP、UDP和ICMP协议相关的统计数据，一般用于检验本机各端口的网络连接情况。
netstat –npl 可以查看你要打开的端口是否已经打开。
netstat –rn 打印路由表信息。
netstat –in 提供系统上的接口信息，打印每个接口的MTU,输入分组数，输入错误，输出分组数，输出错误，冲突以及当前的输出队列的长度。
netstat -pantu 查看端口占用情况。

ps

ps aux
ps -ef

  • 杀掉某一程序的方法：ps aux | grep mysqld | grep –v grep | awk ‘{print $2 }’ xargs kill -9
  • 杀掉僵尸进程：ps –eal | awk ‘{if ($2 == “Z”){print $4}}’ | xargs kill -9

strace

跟踪程序执行过程中产生的系统调用及接收到的信号，帮助分析程序或命令执行中遇到的异常情况。
查看kubelet在linux上加载哪种配置文件，可以通过运行下面的命令：strace –e stat64 kubelet –print –defaults > /dev/null

uptime

root@ip-172-31-210-101:~# uptime
 07:31:19 up 22 days, 21:33,  1 user,  load average: 0.20, 0.20, 0.19

lsof

lsof(list open files)是一个列出当前系统打开文件的工具。通过lsof工具能够查看这个列表对系统检测及排错，常见的用法：
查看文件系统阻塞 lsof /boot
查看端口号被哪个进程占用 lsof -i:22
查看用户打开哪些文件 lsof –u username
查看进程打开哪些文件 lsof –p 4838
查看远程已打开的网络链接 lsof –i @192.168.34.128

Sar

sar（System Activity Reporter系统活动情况报告）是目前LINUX上最为全面的系统性能分析工具之一，可以从多方面对系统的活动进行报告，包括：文件的读写情况、系统调用的使用情况、磁盘I/O、CPU效率、内存使用状况、进程活动及IPC有关的活动等方面。

sar的常归使用方式：sar [options] [-A] [-o file] t [n]
其中：
t为采样间隔，n为采样次数，默认值是1；
-o file表示将命令结果以二进制格式存放在文件中，file 是文件名。
options 为命令行选项
image.png

https://linuxhint.com/sar_linux_tutorial/
http://www.linuxhowto.in/2012/09/how-to-install-and-configure-sar-in.html