什么是平均负载？

单位时间内，系统处于可运行状态和不可中断状态的平均进程数，也就是平均活跃进程数，它和CPU使用率并没有直接关系。
所谓可运行状态的进程，是指正在使用CPU或者等待CPU的进程，也就是我们常用ps命令看到的，处于R状态（Running或者Runnable）的进程。不可中断状态的进程是正处于内核态关键流程中的进程，并且这些流程是不可打断的。
比如当一个进程向磁盘读写数据时，为了保证数据的一致性，在得到磁盘回复前，它是不能被其他进程或者中断打断的，这个时候的进程就处于不可中断状态。如果此时的进程被打断了，就容易出现磁盘数据与进程数据不一致的问题。可以认为不可中断状态是系统对进程和硬件设备的一种保护机制。

平均负载为多少合适？

平均负载可以简单的理解为是平均活跃进程数，也可以理解为单位时间内的活跃进程数。因此理想情况是每个CPU上面都运行一个进程。
通过命令查询系统有多少CPU

$ grep ‘model name’ /proc/cpuinfo | wc -l

通过uptime命令查询系统负载

$ uptime

16:42:54 up 187 days, 21:49, 1 user, load average: 0.00, 0.14, 1.08 16:42:54 :当前时间 up 187 days, 21:49 :系统运行时间 1 user ：正在登陆用户数 load average: 0.00, 0.14, 1.08 : 过去1分钟、5分钟和15分钟的平均负载

当平均负载高于CPU个数的时候，系统就出现过载。从1分钟、5分钟和15分钟的负载值可以看出负载变化趋势：

1分钟、5分钟、15分钟三个值基本相同或者相差不大，说明系统负载平稳
1分钟的值远小于15分钟的值，说明负载在下降
1分钟的值远大于15分钟的值，说明负载在上升

实际生产中一般认为平均负载高于CPU数量70%的时候就处于负载过高，需要分析排查，以免影响服务响应。

平均负载与CPU使用率

平均负载指单位时间内处于可运行状态和不可中断状态的进程数。所以它不仅包括了正在使用CPU的进程，还包括等待CPU和等待I/O的进程。
CPU使用率指单位时间内CPU繁忙情况的统计，跟平均负载并不一定完全对应。

CPU密集型进程，使用大量CPU会导致平均负载升高，此时两者一致。
I/O密集型进程，等待I/O也会导致平均负载升高，但CPU使用率不一定很高
大量等待CPU的进程调度也会导致平均负载升高，此时的CPU使用率也会很高。

如何分析？

先通过uptime命令查看平均负载情况

$ uptime 16:59:50 up 1210 days, 6:27, 7 users, load average: 0.02, 0.48, 0.68

通过mpstat 查看CPU使用率变化情况

-P ALL 表示监控所有 CPU，数字 5 表示间隔 5 秒后输出一组数据 $ mpstat -P ALL 5
05:02:53 PM CPU %usr %nice %sys %iowait %irq %soft %steal %guest %gnice %idle 05:02:58 PM all 3.28 0.00 0.49 0.01 0.00 0.00 0.00 0.00 0.00 96.22 05:02:58 PM 0 1.60 0.00 0.20 0.00 0.00 0.00 0.00 0.00 0.00 98.20 05:02:58 PM 1 5.20 0.00 0.20 0.20 0.00 0.00 0.00 0.00 0.00 94.40 05:02:58 PM 2 0.20 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 99.80 05:02:58 PM 3 5.21 0.00 0.20 0.00 0.00 0.00 0.00 0.00 0.00 94.59

05:02:58 PM 4 0.20 0.00 0.20 0.00 0.00 0.00 0.00 0.00 0.00 99.60

05:02:58 PM 5 5.20 0.00 0.60 0.20 0.00 0.00 0.00 0.00 0.00 94.00

05:02:58 PM 6 4.80 0.00 0.20 0.00 0.00 0.00 0.00 0.00 0.00 95.00

05:02:58 PM 7 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 100.00

05:02:58 PM 8 0.20 0.00 0.40 0.00 0.00 0.00 0.00 0.00 0.00 99.40

05:02:58 PM 9 1.60 0.00 0.20 0.00 0.00 0.00 0.00 0.00 0.00 98.20

05:02:58 PM 10 88.00 0.00 12.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00

05:02:58 PM 11 0.00 0.00 0.80 0.20 0.00 0.00 0.00 0.00 0.00 99.00

通过pidstat查看哪个进程导致CPU使用率高

间隔 5 秒后输出一组数据

$ pidstat -u 5 1

Average: UID PID %usr %system %guest %CPU CPU Command

Average: 0 10 0.00 0.20 0.00 0.20 - rcu_sched

Average: 0 998 0.00 0.20 0.00 0.20 - xfsaild/sda5

Average: 0 1111 0.00 0.40 0.00 0.40 - irqbalance Average: 26 175314 88.47 11.53 0.00 100.00 - postgres

Average: 26 176282 83.50 16.50 0.00 100.00 - postgres

总结

平均负载提供了一个快速查看系统整体性能的手段，反应了整体的负载情况。但只看平均负载本身，并不能直接发现到底哪里出现了瓶颈。在理解平均负载时，需要注意：

平均负载高有可能是CPU密集型进程导致
平均负载高并不一定代表CPU使用率高，还有可能是I/O更繁忙了
当发现负载高的时候，可以使用mpstat、pidstat等工具，辅助分析负载的来源

性能分析的时候，还可以使用htop、atop等工具进行监控。后面单独介绍这两个工具的用法。