Linux cgroup

Linux CGroup全称Linux Control Group， 是Linux内核的一个功能，用来限制，控制与分离一个进程组群的资源（如CPU、内存、磁盘输入输出等）。Linux CGroup可让您为系统中所运行任务（进程）的用户定义组群分配资源 — 比如 CPU 时间、系统内存、网络带宽或者这些资源的组合。您可以监控您配置的 cgroup，拒绝 cgroup 访问某些资源，甚至在运行的系统中动态配置您的 cgroup。
CGroup 是 Control Groups 的缩写，是 Linux 内核提供的一种可以限制、记录、隔离进程组 (process groups) 所使用的物力资源 (如 cpu memory i/o 等等) 的机制。2007 年进入 Linux 2.6.24 内核，CGroups 不是全新创造的，它将进程管理从 cpuset 中剥离出来，作者是 Google 的 Paul Menage。CGroups 也是 LXC 为实现虚拟化所使用的资源管理手段。

主要功能

CGroup 是将任意进程进行分组化管理的 Linux 内核功能。CGroup 本身是提供将进程进行分组化管理的功能和接口的基础结构，I/O 或内存的分配控制等具体的资源管理功能是通过这个功能来实现的。这些具体的资源管理功能称为 CGroup 子系统或控制器。CGroup 子系统有控制内存的 Memory 控制器、控制进程调度的 CPU 控制器等。运行中的内核可以使用的 Cgroup 子系统由/proc/cgroup 来确认。
CGroup 提供了一个 CGroup 虚拟文件系统，作为进行分组管理和各子系统设置的用户接口。要使用 CGroup，必须挂载 CGroup 文件系统。这时通过挂载选项指定使用哪个子系统。
Cgroups提供了以下功能：
1）限制进程组可以使用的资源数量（Resource limiting ）。比如：memory子系统可以为进程组设定一个memory使用上限，一旦进程组使用的内存达到限额再申请内存，就会出发OOM（out of memory）。

  • 限制资源使用：比如内存使用上限、文件系统的缓存限制

2）进程组的优先级控制（Prioritization ）。比如：可以使用cpu子系统为某个进程组分配特定cpu share。

  • 优先级控制：CPU利用和磁盘IO

3）记录进程组使用的资源数量（Accounting ）。比如：可以使用cpuacct子系统记录某个进程组使用的cpu时间
4）进程组隔离（Isolation）。比如：使用ns子系统可以使不同的进程组使用不同的namespace，以达到隔离的目的，不同的进程组有各自的进程、网络、文件系统挂载空间。
5）进程组控制（Control）。比如：使用freezer子系统可以将进程组挂起和恢复。

  • 挂起、恢复某些进程

CGroup 支持的文件种类

文件名 R/W 用途
Release_agent RW 删除分组时执行的命令，这个文件只存在于根分组
Notify_on_release RW 设置是否执行 release_agent。为 1 时执行
Tasks RW 属于分组的线程 TID 列表
Cgroup.procs R 属于分组的进程 PID 列表。仅包括多线程进程的线程 leader 的 TID，这点与 tasks 不同
Cgroup.event_control RW 监视状态变化和分组删除事件的配置文件

相关概念

  • 任务：task，任务就是一个进程
  • 控制族群：control group，是一组按照某种标准划分的进程。cgroups中的资源控制都是以控制族群为单位实现。一个进程可以加入某个控制族群，也可以从一个进程组迁移到另一个控制族群。一个进程组的进程可以使用cgroups以控制族群为单位分配资源，同时受到cgroups以控制族群为单位设定的限制
  • 层级：hierarchy，控制族群可以组织成hierarchical的形式，即一棵控制族群树。控制族群树上的子节点控制族群是父节点控制族群的孩子，继承父控制族群的特定的属性

  • 子系统：subsystem，一个子系统就是一个资源控制器。子系统必须附加到一个层级上才能起作用，一个子系统附加到某个层级以后，这个层级上的所有控制族群都受到这个子系统的控制。

    cgroup子系统

  • cpu子系统：限制进程的cpu使用率

  • cpuacct子系统：可以统计cgroup中的进程的cpu使用报告
  • cpuset子系统：可以限制进程的memory使用量
  • memory子系统：可以限制进程的块设备IO
  • blkio子系统：可以控制进程能够访问某些设备
  • devices子系统：可以控制进程能够访问某些设备
  • net_cls子系统：可以标记cgroup中进程的网络数据包，使用tc(traffic control)模块对数据包进行控制
  • net_prio子系统：设计网络流量的优先级
  • freezer子系统：挂起或恢复cgroup中的进程
  • ns子系统：使不同的cgroup下面的进程使用不同的namespace
  • hugetlb子系统：针对于HugeTLB系统进行限制，这是一个大页文件系统
    图 2. CGroup 典型应用架构图
    Linux CGroup入门 - 图1
    如图 2 所示，CGroup 技术可以被用来在操作系统底层限制物理资源，起到 Container 的作用。图中每一个 JVM 进程对应一个 Container Cgroup 层级，通过 CGroup 提供的各类子系统，可以对每一个 JVM 进程对应的线程级别进行物理限制，这些限制包括 CPU、内存等等许多种类的资源。下一部分会具体对应用程序进行 CPU 资源隔离进行演示。

    相互关系

  1. 每次在系统中创建新层级时，该系统中的所有任务都是那个层级的默认cgroup（root cgroup，此cgroup在创建层级时自动创建，后面在该层级中创建的cgroup都是此cgroup的后代）的初始成员。
  2. 一个子系统最多只能附加到一个层级
  3. 一个层级可以附加多个子系统
  4. 一个任务可以是多个cgroup的成员，但是这些cgroup必须在不同的层级
  5. 系统中的进程（任务）创建子进程（任务）时，该子任务自动成为其父进程所在cgroup的成员。然后可根据需要将该子任务移动到不同的cgroup中，但开始时它总是继承其父任务的cgroup。
    图 1. CGroup 层级图
    image.png
    图 1 所示的 CGroup 层级关系显示，CPU 和 Memory 两个子系统有自己独立的层级系统，而又通过 Task Group 取得关联关系。

    利用cgroup查看进程

    cd /proc/XXXX(PID) cat cgroup

文章来自：https://www.programminghunter.com/article/99872050877/
https://www.programminghunter.com/article/4068114340/
https://zorrozou.github.io/docs/books/cgroup_linux_cpu_control_group.html