Linux是一个多任务操作系统，它支持远大于CPU数量的任务同时执行。当然，这些任务并不是真的同时运行，而是系统在很短的时间内，将CPU轮流分配给他们，达到多任务同时运行的效果。
而每个任务运行前，CPU都需要知道任务从哪里加载、又从哪里开始运行。也就是说，需要系统事先帮他设置好 CPU寄存器和程序计数器（Program Counter，PC）。

1、理解

  1. CPU寄存器，是CPU内置的容量小、但速度极快的内存。而程序计数器，则是用来存储CPU正在执行指令的位置、或者即将执行下一条指定位置。他们都是CPU在运行任务前，必须的依赖环境，因此也被叫做CPU上下文。
  2. CPU上下文切换，就是先把一个任务的CPU上下文（也就是CPU寄存器和程序计数器）保存起来，然后加载新任务的上下文到这些寄存器和程序计数器，最后再跳转到程序计数器的新位置，执行新任务。

而保存下来的上下文，会存储在系统内核中，并在任务重新调度执行时再次加载进来。这样就能保证任务原来的状态不受影响。

2、进程上下文切换

1、内核空间和用户空间

Linux按照特权等级，把进程的运行空间分为 内核空间和用户空间，分别对应下图中，CPU特权等级的 Ring 0 和Ring 3。

  • 内核空间（Ring 0）具有最高权限，可以访问所有资源
  • 用户空间（Ring 3）只能访问受限资源，不能直接访问内存等硬件设备，必须通过系统调用陷入到内核中，才能访问这些特权资源。

image.png
进程既可以在用户空间运行，又可以在内核空间中运行。在用户空间运行时，被称为进程的用户态，而陷入内核空间的时候，被称为进程的内核态。

2、系统调用

从用户态到内核态的转变，需要通过系统调用来完成。比如，当查看文件内容的时候，需要多次系统调用来完成：首先调用 open() 打开文件，然后调用 read() 读取文件内容，并调用 write() 将内容写到标准输出，最后再调用 close() 关闭文件。

1、系统调用的过程中会发生CPU上下文切换：
CPU寄存器里原来用户态的指令位置，需要先保存起来。接着，为了执行内核态代码，CPU寄存器需要更新为内核态指定的新位置。最后才是跳转到内核态运行内核任务。
而系统调用结束后，CPU寄存器需要恢复原来保存的用户态，然后切换到用户空间，继续运行进程。所以，一次系统调用的过程，其实是发生了两次CPU上下文切换。

系统调用过程中，并不会设计到虚拟内存等进程用户态的资源，也不会切换进程。这跟通常所说的进程上下文切换是不一样的：

  • 进程上下文切换，是指从一个进程切换到另一个进程运行
  • 而系统调用过程中一直是同一个进程在运行

所以，系统调用过程通常称为特权模式切换，而不是上下文切换。

2、进程上下文切换和系统调用的区别
首先，进程是由内核来管理调度的，进程的切换只能发生在内核态。所以，进程的上下文不仅包含了虚拟内存、栈、全局变量等用户空间的资源，还包含了内核堆栈、寄存器等内核空间的状态。
因此，进程的上下文切换就比系统调用多了一步：在保存当前进程的内核状态和CPU寄存器之前，需要先把该进程的虚拟内存、栈等保存下来；而加载了下一进程的内核状态后，还需要舒心进程的虚拟内存和用户栈。

如图，保存上下文和恢复上下文的过程并不是“免费”的，需要内核在CPU上运行才能完成。
image.png
每次上下文切换，都需要几十纳秒到数微妙的CPU事件，这个时候比较可观，特别是在进程上下文切换次数较多，很容易导致CPU将大量时间耗费在寄存器、内核栈以及虚拟内存等资源的保存和恢复上，大大缩短了真正运行进程的时间，导致平均负载升高。
Linux是通过 TLB（Translation Lookaside Buffer）来管理虚拟内存到物理内存的映射关系。当虚拟内存更新后，TLB也需要刷新，内存的访问也会随之变慢。特别在多处理器系统上，缓存是被多个处理器共享的，刷新缓存不仅会影响当前处理器的进程，还会影响共享缓存的其他处理器的进程。

3、发生进程上下文切换

进程切换时，也就是，只有在进程调度的时候，才需要切换上下文。
Linux为每个CPU都维护了一个就绪队列，将活跃进程（即正在运行和正在等待CPU的进程）按照优先级和等待CPU的时间顺序，然后选择最需要CPU的进程，也就是优先级最高和等待CPU时间最长的进程来运行。
1、进程在什么时候会被调度到CPU执行呢？

  • 为了保证所有进程都得到公平调度，CPU事件被划分为一段段的时间片，这些时间片再被轮流分配给各个进程。这样，当某个时间片耗尽了，就会被系统挂起，切换到其他正在等待CPU的进程运行。
  • 进程在系统资源不足（如内存不足）时，要等到资源保存后才可以运行，这个时候进程会被挂起，并由系统调度其他进程运行。
  • 当进程通过睡眠函数 sleep 这样的方法主动挂起时，也会重新调度
  • 当有优先级更高的进程运行时，为了保证高优先级进程的运行，当前进程会被挂起，由高优先级进程来运行

  • 发生硬件中断时，CPU上的进程会被中断挂起，转而执行内核中的中断服务程序。

    3、线程上下文切换

    线程是调度的基本单位，而进程是资源拥有的基本单位。
    所谓内核中的任务调度，实际上的调度对象是线程；而进程只是给线程提供了虚拟内存、全局变量等资源。
    对于线程和进程，

  • 当进程只有一个线程时，可以认为进程就等于线程

  • 当进程拥有多个线程时，这些线程会共享相同的虚拟内存和全局变量等资源。在上下文切换时不需要修改
  • 线程也有自己的私有数据，如栈、寄存器等，在上下文切换时需要保存。

那么，线程的上下文切换可以分为：

  1. 前后两种线程属于不同进程。此时，因为资源不共享，所以切换过程跟进程上下文切换一样。
  2. 前后两种线程属于同一进程。此时，因为虚拟内存是共享的，所以在切换时，虚拟内存这些资源就保持不动，只需要切换线程的稀有数据、寄存器等不共享的数据。

    4、中断上下文切换

    为了快速响应硬件的事件，中断处理会打断进程的正常调度和执行，转而调用中断处理程序，响应设备事件。而在打断其他进程的时候，就需要将进程当前的状态保存下来，这样在中断结束后，进程仍可以从原来的状态恢复运行。
    中断上下文切换不涉及进程的用户态。所以，即便中断过程打断了一个正处在用户态的进程，也不需要保存和恢复这个进程的虚拟内存、全局变量等用户态数据。
    中断上下文，其实只包括内核态中断服务程序执行索必须的状态，包括 CPU寄存器、内核堆栈、硬件中断参数等。

    5、查看系统上下文切换情况

    vmstat 是一个常用的系统性能分析工具，主要用来分析系统的内存使用情况，也常用来分析 CPU 上下文切换和中断的次数。
    第一行数据是系统启动以来的平均值。往下才是设置间隔时间的平均值
    每隔5s输出一组数据
    image.png
  • cs（context switch）是每秒上下文切换的次数
  • in（interrupt）是每秒中断的次数
  • r（Running or Runnable）是就绪队列的长度，也就是正在运行和等待CPU的进程数
  • b（Blocked）是处于不可中断睡眠状态的次数

上图中，上下文切换次数 cs 是 74 次，而系统中断次数 in 是 59 次，而就绪队列长度 r 和不可中断状态进程数 b 都是 0。
vmstat只给了系统总体的上下文切换情况，要想查看每个进程的详细情况，就需要使用 pidstat ，加上 -w 选项，就可以查看每个进程上下文切换情况。
image.png

  • cswch：每秒资源上下文切换（voluntary context switches）的次数
  • nvcswch：每秒非资源上下文切换（non voluntary context switches）的次数

他两个对应不同的性能问题：

  1. 自愿上下文切换，是指进程无法获取所需资源，导致的上下文切换。比如，I/O、内存等系统资源不足时。
  2. 非自愿上下文切换，是指进程由于时间片已到等原因，被系统强制调度，进而发生的上下文切换。比如，大量进程都在争抢CPU时，就容易发生非自愿上下文切换。

    6、Demo

    1、准备

    1. apt install sysbench sysstat
    需要root用户运行，sudo su root切换到root用户。
    先用vmstat查看下控线系统的上下文切换次数：
    image.png
    现在的上下文切换次数 cs 是73，而中断次数 in 是 19，r和b都是0。因为没有运行其他任务，所以他们就是空闲系统的上下文切换次数。

    2、模拟多线程调度

    在第一个终端里运行 sysbench ，模拟系统多线程调度的瓶颈：
    1. # 以10个线程运行5分钟的基准测试，模拟多线程切换的问题
    2. sysbench --threads=10 --max-time=300 threads run

    3、分析

    运行 vmstat ，观察上下文切换情况：
    image.png
    可以看到，cs列的闪现该问切换次数从之前的73，直接上升到132万。同时，注意观察其他几个指标：
  • r列：就绪队列长度已经在8个左右，远远超过系统CPU个数2，所以肯定会有大量的CPU竞争
  • us（user）和sy（system）列：这两列的CPU使用率加起来快100%。其中系统CPU使用率，也就是在90%左右，说明 CPU主要是被内核占用了。
  • in列：中断次数也上升到 1万左右，说明中断处理也是个潜在问题。

因此，可以得出，系统的就绪队列过长，也就是正在运行和等待CPU的进程数过多，导致了大量的上下文切换，而上下文切换又导致系统CPU的占用率升高。

4、查找原因

使用 pidstat 来查看，CPU和进程上下文切换的情况：

  1. # 每隔1秒输出1组数据
  2. # -w参数表示输出进程切换指标，而-u参数则表示输出CPU使用指标
  3. pidstat -w -u 1

image.png
可以看到 CPU使用率上升是 sysbench 导致的，他的CPU使用率已经达到了 100%。但上下文切换则是来自其他进程，包括非自愿上下文切换的 pidstat，以及自愿上下文切换频率最高的内核线程 kworker和ssh。
然后，从上图发现，通过pidstate发现上下文切换次数总共也就几百，而 vmstat 的132万差太多，这是因为，pidstat默认显示进程的指标数据，加上 -t 参数后，才会输出线程的指标。

  1. pidstat -wt 1

image.png
image.png
可以看到， sysbench 进程（也就是主线程）的上下文切换次数并不多，但他的子线程的上下文切换次数非常多，这便是上下文切换的起因。

5、注意

观察系统指标时，还发现中断次数也上升到 1万左右，到底是什么类型的中断上升了呢？
既然是中断，就发生在内核态，pidstat只是进程的性能分析工具。因此，就需要从 /proc/interrupts中读取。/proc 实际是 Linux 的一个虚拟文件系统，用于内核空间和用户空间之间的通信。/proc/interrupts 就是这种通信机制的一部分，提供了一个只读的中断使用情况。

  1. # -d 参数表示高亮显示变化的区域
  2. $ watch -d cat /proc/interrupts
  3.            CPU0       CPU1
  4. ...
  5. RES:     12039165   12456765   Rescheduling interrupts
  6. ...
  7. # 当显示器不够长时，watch的范围会看不到，可以加上排序的方法
  8. $ watch -d 'cat /proc/interrupts | sort -nr -k 2'

可以发现，变化速度最快的是 重调度中断（RES），这个中断类型标识，唤醒空闲状态的CPU来调度新的任务运行。这是多处理器系统（SMP）中，调度器用来分散任务道不同CPU的机制，通常也被称为 处理器间中断（Inter-Processor Interrupts，IPI）。

7、指标

每秒上下文切换多少次才算正常呢？
取决于系统本身的CPU性能。一般从数百到一万之内，都是正常的，但超过一万次，或者切换次数出现特大量级的增长时，就很可能出现性能问题。
还得根据上下文切换的类型，再具体分析：

  • 自愿上下文切换变多了，说明进程都在等待资源，可能发生了 I/O 等其他问题
  • 非自愿上下文变多了，寿命进程都在被强制调度，也就是都在争抢CPU，说明CPU成了瓶颈
  • 中断次数变多了，说明CPU被中断处理程序占用，还需要通过查看 /proc/interrupts 文件来分析具体的中断类型。