前言

经常和 Linux 打交道的童鞋都知道，load averages是衡量机器负载的关键指标，但是这个指标是怎样定义出来的呢？

和其他系统不同，Linux 上的 load averages 不仅追踪可运行的任务，还追踪处于不可中断睡眠状态的任务，为什么是这样呢？这篇文章就来聊聊这方面的知识。

Linux 的 load averages 是系统负载平均值，这个值将正在运行线程（任务）对于系统的需求，作为处于运行和等待状态的线程的平均数量。大多数工具会显示1分钟，5分钟和15分钟的平均值：

  1. $ uptime
  2.  17:30:01 up 13 days, 20:30,  3 users,  load average: 1.66, 2.03, 2.08
  4. $ cat /proc/loadavg
  5. 1.48 1.98 2.06 4/3587 117385

image.png
对上面的输出信息稍稍做些解释

  • 如果平均值是0.0，说明系统处于空闲状态
  • 如果1分钟的平均值大于5分钟或者15分钟，说明系统负载正在增加
  • 如果1分钟的平均值小于5分钟或者15分钟，说明系统负载正在减小
  • 如果这些值大于CPU的核数，说明可能遇到了性能问题

利用这三个值，我们可以判断系统的负载是在增加还是在减小，这在实践中很有用。这三个中的任意一个拿出来也很有用，比如为云服务的自动伸缩设置阈值。不过，在缺少其他信息的情况下，单看这些值是没有意义的。比如1分钟的load averages值在23到25之间，就没有任何意义；但如果知道CPU核数并且知道运行的任务是计算密集型，那这个值就很有意义。

历史

最开始的时候，load averages 只显示对系统CPU相关的需求：运行的进程数加上等待的进程数。如RFC 546描述的

TENEX load averages是衡量CPU需求的指标。这个值是给定时间内可运行进程数量的平均值。例如，对于单核CPU系统，每小时平均10次意思是在该小时内可以期望看到一个进程正在运行和另外九个等待CPU(即没有被I/O阻塞)处于ready状态的进程。

下图是1973年绘制的监控图
深入理解 load averages - 图2
以前操作系统的代码还可以找到，下面是TENEX定义的一些宏

  1. NRJAVS==3               ;NUMBER OF LOAD AVERAGES WE MAINTAIN
  2. GS RJAV,NRJAVS          ;EXPONENTIAL AVERAGES OF NUMBER OF ACTIVE PROCESSES
  3. [...]
  4. ;UPDATE RUNNABLE JOB AVERAGES
  6. DORJAV: MOVEI 2,^D5000
  7.         MOVEM 2,RJATIM          ;SET TIME OF NEXT UPDATE
  8.         MOVE 4,RJTSUM           ;CURRENT INTEGRAL OF NBPROC+NGPROC
  9.         SUBM 4,RJAVS1           ;DIFFERENCE FROM LAST UPDATE
  10.         EXCH 4,RJAVS1
  11.         FSC 4,233               ;FLOAT IT
  12.         FDVR 4,[5000.0]         ;AVERAGE OVER LAST 5000 MS
  13. [...]
  14. ;TABLE OF EXP(-T/C) FOR T = 5 SEC.
  16. EXPFF:  EXP 0.920043902 ;C = 1 MIN
  17.         EXP 0.983471344 ;C = 5 MIN
  18.         EXP 0.994459811 ;C = 15 MIN

Linux中定义的宏长下面这样（代码出处include/linux/sched/loadavg.h）:

  1. #define EXP_1           1884            /* 1/exp(5sec/1min) as fixed-point */
  2. #define EXP_5           2014            /* 1/exp(5sec/5min) */
  3. #define EXP_15          2037            /* 1/exp(5sec/15min) */

指标的三个粒度

load averages有1分钟，5分钟，15分钟三个粒度的结果。不过事实上，他们并不是真正的平均值，统计的粒度也不是1，5，15分钟。从上面的代码中可以看出，1，5和15都是常量，用于计算指数衰减的 5 秒平均移动和。由此算出的1分钟，5分钟和15分钟的load averages所反应的负载远远超过1，5，15分钟。

假设在一个空闲的系统上，开启一个单线程来跑CPU密集任务，60秒后的load averages是多少呢？如果load averages按普通平均值来算，这个值将是1.0。下面是一个绘制成图的实验结果
深入理解 load averages - 图3
在上面的实验中，所谓的“1分钟load averages”在一分钟内只能达到0.62左右。

Linux不可中断任务

Linux中刚引入load averages时，和其他系统一样将其作为衡量CPU需求的指标，后来将其更改为不仅包含可运行任务，还包含处于不可中断状态的任务（TASK_UNINTERRUPTIBLE或nr_uninterruptible）。这种状态由希望避免信号中断的代码使用，其中包括阻塞在磁盘 I/O 和一些锁上的任务。在ps和top的输出中，这种状态被标志为“D”。ps(1)的man page将其称为”不可中断睡眠状态（通常被IO阻塞）”

  1. # man ps
  2. .....
  3. PROCESS STATE CODES
  4.        Here are the different values that the s, stat and state output specifiers (header "STAT" or "S") will display to describe the
  5.        state of a process:
  7.                D    uninterruptible sleep (usually IO)
  9. ...

为什么Linux中的load averages要加入不可中断状态，而不是像其他系统一样只计算CPU的需求呢？

加入不可中断的起源

在oldlinux.org找到了一封1993年的邮件

  1. From: Matthias Urlichs <urlichs@smurf.sub.org>
  2. Subject: Load average broken ?
  3. Date: Fri, 29 Oct 1993 11:37:23 +0200
  6. The kernel only counts "runnable" processes when computing the load average.
  7. I don't like that; the problem is that processes which are swapping or
  8. waiting on "fast", i.e. noninterruptible, I/O, also consume resources.
  10. It seems somewhat nonintuitive that the load average goes down when you
  11. replace your fast swap disk with a slow swap disk...
  13. Anyway, the following patch seems to make the load average much more
  14. consistent WRT the subjective speed of the system. And, most important, the
  15. load is still zero when nobody is doing anything. ;-)
  17. --- kernel/sched.c.orig Fri Oct 29 10:31:11 1993
  18. +++ kernel/sched.c  Fri Oct 29 10:32:51 1993
  19. @@ -414,7 +414,9 @@
  20.     unsigned long nr = 0;
  22.     for(p = &LAST_TASK; p > &FIRST_TASK; --p)
  23. -       if (*p && (*p)->state == TASK_RUNNING)
  24. +       if (*p && ((*p)->state == TASK_RUNNING) ||
  25. +                  (*p)->state == TASK_UNINTERRUPTIBLE) ||
  26. +                  (*p)->state == TASK_SWAPPING))
  27.             nr += FIXED_1;
  28.     return nr;
  29.  }
  30. --
  31. Matthias Urlichs        \ XLink-POP N|rnberg   | EMail: urlichs@smurf.sub.org
  32. Schleiermacherstra_e 12  \  Unix+Linux+Mac     | Phone: ...please use email.
  33. 90491 N|rnberg (Germany)  \   Consulting+Networking+Programming+etc'ing      42

看到这么久之前的想法还是很令人惊叹的。

这也证明了Linux改变load averages的含义，使其不仅体现对CPU的需要，是有意的，这让load averages从“CPU负载均衡”变成了“系统负载均衡”。

邮件中举交换磁盘速度慢的例子是有道理的：通过降低系统性能，系统需求（运行和排队的进程数）应该增加；但是如果仅仅根据CPU运行状态，那么load averages值应该会下降。Matthias认为这是不直观的，所以修改了代码。

现代系统的不可中断

但是难道不会出现磁盘I/O不能解释Linux load averages过高的情况吗？这种情况是会出现的，这是因为在现代Linux（4.12）版本中，有将近400处代码设置了TASK_UNINTERRUPTIBLE状态，包括一些锁原语中。其中部分代码可能不需要统计在load averages中。

既然TASK_UNINTERRUPTIBLE在更多的地方被用到，那么是否应该将load averages改成只统计CPU和磁盘需求呢？Linux调度程序的维护者Peter Zijstra有一个想法：将TASK_UNINTERRUPTIBLE替换成task_struct->in_iowait，这样load averages就更贴近磁盘I/O的需求。这样又引入了另外一个问题，我们到底想要从load averages中得到什么？我们是需要用线程对系统的需求来衡量负载，还是只通过物理资源的使用情况来衡量负载呢？如果是前者的话，那么应该包含等待不间断锁的线程，因为这些线程并没有闲置。所以也许Linux的load averages已经按我们需要的方式工作了。

理解Linux的load averages

也许真正的问题在于“load averages”这个词和“I/O”一样含糊不清。到底是哪种I/O呢？是磁盘I/O？文件系统I/O？还是网络I/O。类似的，到底是哪种load averages呢？是CPU平均负载？还是系统平均负载？下面做一个总结吧：

  • 在Linux上，load averages的真实含义是“系统平均负载”，即对整个系统，测量正在工作并等待工作的线程数（CPU，磁盘，不可中断锁）。换句话说，这种方式测量的是不完全空闲的线程数量。这种方式的优势在于包括了对不同资源的需求
  • 在其他的系统上，load averages的含义是“CPU平均负载”，这组值用于测量正在占有CPU执行权的线程数量加上等待CPU的线程数量。

还有另一种可能的类型：“物理资源负载平均值”，其中包括仅用于物理资源（CPU+磁盘）的负载。

更精确的测量数据

当Linux的load averages值增加时，可以判断任务对系统资源（CPU，磁盘和锁）有了更高的需求，但是到底是对哪种资源的需求增长了呢？这时可以用其他的指标来进行判断。比如，CPU资源有如下指标：

  • 单个CPU使用率：可以用命令mpstat -P ALL 1查看
  • 每个进程的CPU使用率：可用命令top，pidstat 1查看
  • 每个线程运行队列（调度程序）延迟：可用命令perf sched查看，也可以查看文件/proc/PID/schedstats
  • CPU运行队列延迟：可用命令perf sched查看，也可以查看文件/proc/schedstat
  • CPU运行队列长度：可用vmstat 1命令查看。

上面提供的指标中，前两个用来衡量使用率，后三个用来度量系统饱和度。利用率指标对于衡量工作负载很有用，而饱和度指标可用来识别性能问题。衡量CPU饱和度的最佳指标是运行队列（或调度程序）的延迟，延迟是指任务或者线程处于可运行状态，但必须等待CPU的时间。通过这样的指标可以用来衡量性能问题的严重程度，比如线程等待调度的时间在运行时间中占的百分比。通过观察运行队列长度可以很方便判断是否存在问题，但比较难定位到问题产生的原因。

schedstats功能在Linux 4.6中成为内核可调参数（sysctl.kernel.sched_schedstats），默认是关闭的。

尽管有更明确的指标，但并不意味着load averages是无用的。这组指标已经成功用于云计算微服务的扩展策略，微服务根据不同的负载值做出反应。有了这些判断的依据，即使在自动扩容时犯错也保险多了：扩容实例会花更多的钱，不扩容则会损失用户。如果扩容太多，后来调查一下纠正就是了。

总结

在1993年，一位Linux工程师发现了一个非直观的load averages情况，于是提交了三行代码的补丁将load averages的含义由“CPU负载平均值”变成了“系统负载平均值”。这次的变动在统计中包括了不可中断状态下的任务，所以load averages值不仅反映了对CPU的需求，还反映了对磁盘资源的需求。系统平均负载计算正在工作和等待工作的线程的数量，并且统计1分钟，5分钟，15分钟指数衰减的移动总和平均值。通过这三个值，能够知道系统的负载是在增加还是在减小。

Linux中对不可中断状态的使用越来越多，现在已经包括了不可中断的锁原语。如果需要衡量处于运行状态和等待状态的线程对于系统的需求，那么load averages依然是很好的指标。

最后引用kernel/sched/loadavg.c头部的注释来结束吧

  • This file contains the magic bits required to compute the global loadavg
  • figure. Its a silly number but people think its important. We go through
  • great pains to make it work on big machines and tickless kernels.

参考链接

Linux Load Averages：什么是平均负载？ Linux Load Averages: Solving the Mystery Understanding Linux CPU Load - when should you be worried?

原文

作者：大蟒传奇
链接：https://juejin.cn/post/6844903617766359047
来源：稀土掘金
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。