中断是一种异步的事件处理机制，可以提高系统的并发处理能力。为了减少对正常进程运行调度的影响，中断程序需要尽可能快地运行。

1、理解

为了解决中断处理程序执行过长和中断丢失的问题，Linux将中断处理分成了两个阶段，也就是上半部和下半部：

  • 上半部：用来快速处理中断，它在中断禁止模式下运行，主要处理跟硬件紧密相关的或事件敏感的工作

  • 下半部：用来延迟处理上半部未完成的工作，通常以内核线程的方式运行

    1、举例

    以网卡接收数据包为例，
    网卡接收到数据包后，会通过 硬件中断 的方式，通知内核有新的数据到了。这时，内核就应该调用中断处理程序来响应它。
    对于上半部来说，就需要快速处理，也就是把网卡的数据读到内存中，然后更新一下硬件寄存器的状态（表示数据已经读好了），最后再发送一个软中断信号，通知下半部做进一步处理。
    下半部被软终端信号唤醒后，需要从内存中找到网络数据，再按照网络协议栈，对数据进行逐层解析和处理，直到把它送给应用程序。
    也可以理解为：

  • 上半部直接处理硬件请求，也就是 硬中断，特点是快速执行

  • 下半部由内核触发，也就是 软中断，特点是 延迟执行

    2、说明

    实际上，上半部会打断CPU正在执行的任务，然后立即执行中断处理程序。而下半部以内核线程的方式执行，并且每个CPU都对应一个软中断内核线程，名字为 ksoftirqd/CPU编号，比如 0 号 CPU 对应的软中断内核线程的名字就是 ksoftirqd/0 。
    软中断包括网络收发、定时、调度、RCU 锁等各种类型

    2、查看软中断和内核线程

  • /proc/softirqs 提供了软中断的运行情况

  • /proc/interrupts 提供了硬中断的运行情况

image.png

  1. 注意软中断的类型，也就是第一列的内容。软中断包括 10 个类型，分别对应不同的工作类型，如 NET_RX 表示网络接收中断，NET_TX 表示网络发送中断
  2. 要注意统一软中断在不同CPU上的分布情况。正常情况下，同一种中断在CPU上的累计次数应该差不多。
  3. TASKLET在不同CPU上的分布不均匀。因为TASKLET是最常用的软中断实现机制。每个TASKLET只运行一次就会结束，并只在调用它的函数所在的CPU上运行。

软中断实际上是以内核线程的方式运行的，每个CPU对对应一个软中断内核线程，这个软中断内核线程就叫做 ksoftirqd/CPU 编号。当软中断事件的频率过高时，内核线程也会因为 CPU 使用率过高而导致软中断处理不及时，进而引发网络收发延迟、调度缓慢等性能问题。
image.png
线程名字包含中括号的，说明ps无法获取他们的命令行参数（cmline）。一般，ps输出中，名字在 [] 里的，一般都是内核线程。

3、demo

1、准备

  1. apt-get install sysstat hping3 tcpdump
  • sar 是一个系统活动报告工具，既可以实时查看系统的当前活动，又可以配置保存和报告历史统计数据
  • hping3 是一个可以构造 TCP/IP 协议数据包的工具，可以对系统进行安全审计、防火墙测试

  • tcpdump 是一个常用的网络抓包工具，常用来分析各种网络问题

    1. docker run -itd --name=nginx -p 80:80 nginx

    使用 hping3 命令，模拟客户端请求

    1. # -S 参数表示设置TCP协议的SYN（同步序列号），-p表示目的端口为80
    2. # -i u100 表示每隔100微妙发送一个网络帧
    3. hping3 -S -p 80 -i u100 127.0.0.1

    这个时候能发现连接的终端已经变得缓慢。

    2、分析

    1、top

    image.png

  • 平均负载是 零点几，就绪队列只有一个进程

  • 每个CPU的使用率都挺低

  • 进程列表，也都不高

    2、/proc/softirqs

    可以看到，CPU消耗最大的是软中断进程 Ksoftirqd，因此查看 /proc/softirqs的内容。这里是 系统运行以来的 累积中断次数。而我们就需要观察他的变化速率。

    1. watch -d cat /proc/softirqs

    因为系统发行版本的问题，这里他会显示128个逻辑CPU，所以使用 awk 来优化下输出显示。(这里是2核CPU)

    1. watch -d "/bin/cat /proc/softirqs | /usr/bin/awk 'NR == 1{printf \"%13s %13s %13s\n\",\" \",\$1,\$2}; NR > 1{printf \"%13s %13s %13s\n\",\$1,\$2,\$3}'"

    image.png
    可以看到，TIMER（定时中断）、NET_RX（网络接收）、SCHED（内核调度）、RCU（RCU锁）等这几个软中断在不停变化。
    其中，NET_RX 也就是网络数据包接收软中断的变化速度最快。而其他几种类型的软中断，是保证Linux调度、时钟和临界区保护这些正常工作必须的，有变化是正常的。

    3、sar

    1. # -n DEV 表示显示网络收发的报告，间隔1s输出一组数据
    2. sar -n DEV 1

    image.png

  • IFACE：表示网卡

  • rxpck/s、txpck/s：表示每秒接收、发送的网络帧数，也就是 PPS
  • rxkB/s、txkB/s：表示每秒接收、发送的字节数，也就是 BPS

可以看到

  1. 对于网卡 ens33 来说，每秒接收的网络帧数较大，达到了8035，而发送的网络帧数较小，只有4022。每秒接收的字节数只有470KB，发送的字节数只有241KB
  2. docker0和veth41a6e7b 的数据跟 ens33 基本一致，只是发送和接收相反。这是Linux内部网桥转发导致

重点看ens33：接收的PPS高达8035，而BPS只有470kb，通过计算，470*1024/8035 = 59字节/帧，说明平均每个网络帧只有 59 字节，显然是很小的网络帧，也就是 小包问题。

4、tcpdump

  1. # -i ens33 只抓取ens33网卡，-n 解析协议名和主机名
  2. # tcp port 80 表示只抓取tcp协议并且端口号为 80 的网络帧
  3. tcpdump -i ens33 -n tcp port 80

image.png

  • 192.168.126.137.14623 > 192.168.126.139.80，表示网络帧从 192.168.126.137的14623端口发送到 192.168.126.139 的80端口，
  • Flags[s]：这是一个SYN包

可以得出这是从 192.168.126.137 地址发过来的 SYN FLOOD 攻击。