Docker底层技术之cgroup 设计分析

什么是 cgroup

• cpu子系统**：限制 CPU 的使用。**
• memory子系统**：限制内存使用。**
• cpuset子系统**：可以为进程组分配单独的 CPU 或者内存节点。**
• cpuacct子系统**：统计CPU group的使用情况。**
• blkio子系统**：限制I/O，一般用于磁盘。**
• devices子系统**：限制进程使用的设备。**
• freezer子系统**：可以挂起和恢复进程组。**
• net_cls子系统**：可以标记进程组的网络数据包，使用 tc 模块（traffic control）对数据包进行控制。**

cgroup 源码分析

1、设计一个简单的 cgroup

2、控制组

$ cd /sys/fs/cgroup/memory/cgrp1    # 进入控制组cgrp1
$ echo 1029 > tasks                 # 将PID为1029的进程添加到cgrp1控制组中

$ cat tasks
1
2
3
5
6
7
...

struct cgroup {
    ...
    // 下面3个字段把控制组连接成一个树结构
    struct list_head sibling;   // 兄弟节点
    struct list_head children;  // 子节点
    struct cgroup *parent;      // 父节点
    struct dentry *dentry;      // 当前控制组对应的目录对象
    // 当前控制组关联的子系统资源统计对象
    struct cgroup_subsys_state *subsys[CGROUP_SUBSYS_COUNT]; 
    ...
};

struct cgroupfs_root {
    struct super_block *sb;            // 挂载点超级块对象（虚拟文件系统使用）
    unsigned long subsys_bits;         // 当前层级绑定的资源子系统位图（1表示已经绑定到当前层级）
    ...
    struct list_head subsys_list;      // 绑定到当前层级的资源子系统列表
    struct cgroup top_cgroup;          // 当前层级的根控制组
    int number_of_cgroups;             // 当前层级拥有的控制组数量
    ...
};

// 定义在文件 ./kernel/cgroup.c 中
static struct cgroupfs_root rootnode;

3、资源控制子系统

struct cgroup_subsys_state {
    struct cgroup *cgroup; // 指向控制组对象
    atomic_t refcnt;       // 引用计数器
    unsigned long flags;   // 标志位
};

struct mem_cgroup {
    // 资源统计对象通用部分
    struct cgroup_subsys_state css;
    // 资源统计对象私有部分
    struct res_counter res;  // 用于统计进程组的内存使用情况
    struct mem_cgroup_lru_info info;
    int prev_priority;
    struct mem_cgroup_stat stat;
};

struct cgroup {
    ...
    // 当前控制组关联的资源统计对象
    struct cgroup_subsys_state *subsys[CGROUP_SUBSYS_COUNT]; 
    ...
};

• 进程A** 属于控制组 /sys/fs/cgroup/memory/cgrp1/cgrp3 和控制组 /sys/fs/cgroup/cpu/cgrp2/cgrp3，所以 进程A 就关联了 mem_group A 和 task_group A 这两个资源统计对象。**
• 进程B** 属于控制组 /sys/fs/cgroup/memory/cgrp1/cgrp4 和控制组 /sys/fs/cgroup/cpu/cgrp2/cgrp3，所以 进程B 就关联了 mem_group B 和 task_group A 这两个资源统计对象。**

struct css_set {
    ...
    // 用于收集不同控制组的资源统计对象
    struct cgroup_subsys_state *subsys[CGROUP_SUBSYS_COUNT];
};

struct task_struct {
    ...
    struct css_set *cgroups;
    ...
};

struct cgroup_subsys {
    struct cgroup_subsys_state *(*create)(struct cgroup_subsys *ss, 
                                          struct cgroup *cgrp);
    ...
    void (*attach)(struct cgroup_subsys *ss, struct cgroup *cgrp,
                   struct cgroup *old_cgrp, struct task_struct *tsk);
    void (*fork)(struct cgroup_subsys *ss, struct task_struct *task);
    void (*exit)(struct cgroup_subsys *ss, struct task_struct *task);
    ...
    int subsys_id;
    int active;
    int disabled;
    int early_init;
    const char *name;            // 子系统名字
    struct cgroupfs_root *root;  // 关联的层级根节点
    struct list_head sibling;
    void *private;
};

// 定义在文件：./mm/memcontrol.c
struct cgroup_subsys mem_cgroup_subsys = {
    .name        = "memory",
    .subsys_id   = mem_cgroup_subsys_id,
    .create      = mem_cgroup_create,
    .pre_destroy = mem_cgroup_pre_destroy,
    .destroy     = mem_cgroup_destroy,
    .populate    = mem_cgroup_populate,
    .attach      = mem_cgroup_move_task,
    .early_init  = 0,
};

总结