cAdvisor

cAdvisor 是谷歌开源的一款通用的容器监控解决方案。cAdvisor 不仅可以采集机器上所有运行的容器信息，还提供了基础的查询界面和 HTTP 接口，更方便与外部系统结合。所以，cAdvisor很快成了容器指标监控最常用组件，并且 Kubernetes 也集成了 cAdvisor 作为容器监控指标的默认工具。

cAdvisor 的安装与使用

下面我们以 cAdvisor 0.37.0 版本为例，演示一下 cAdvisor 的安装与使用。
首先使用以下命令启动 cAdvisor：

  1. $ docker run \
  2.   --volume=/:/rootfs:ro \
  3.   --volume=/var/run:/var/run:ro \
  4.   --volume=/sys:/sys:ro \
  5.   --volume=/var/lib/docker/:/var/lib/docker:ro \
  6.   --volume=/dev/disk/:/dev/disk:ro \
  7.   --publish=8080:8080 \
  8.   --detach=true \
  9.   --name=cadvisor \
  10.   --privileged \
  11.   --device=/dev/kmsg \
  12.   lagoudocker/cadvisor:v0.37.0

此时，cAdvisor 已经成功启动，我们可以通过访问 http://localhost:8080 访问到 cAdvisor 的 Web 界面。

总体来说，使用 cAdvisor 监控容器具有以下特点：

  • 可以同时采集物理机和容器的状态；
  • 可以展示监控历史数据。

监控原理

Docker 是基于 Namespace、Cgroups 和联合文件系统实现的。其中 Cgroups 不仅可以用于容器资源的限制，还可以提供容器的资源使用率。无论何种监控方案的实现，底层数据都来源于 Cgroups。

Cgroups概述

Cgroups 的工作目录为/sys/fs/cgroup，/sys/fs/cgroup目录下包含了 Cgroups 的所有内容。Cgroups包含很多子系统，可以用来对不同的资源进行限制。例如对CPU、内存、PID、磁盘 IO等资源进行限制和监控。

为了更详细的了解 Cgroups 的子系统，我们通过 ls -l 命令查看/sys/fs/cgroup文件夹，可以看到很多目录：

  1. $ sudo ls -l /sys/fs/cgroup/
  2. total 0
  3. dr-xr-xr-x 5 root root  0 Jul  9 19:32 blkio
  4. lrwxrwxrwx 1 root root 11 Jul  9 19:32 cpu -> cpu,cpuacct
  5. dr-xr-xr-x 5 root root  0 Jul  9 19:32 cpu,cpuacct
  6. lrwxrwxrwx 1 root root 11 Jul  9 19:32 cpuacct -> cpu,cpuacct
  7. dr-xr-xr-x 3 root root  0 Jul  9 19:32 cpuset
  8. dr-xr-xr-x 5 root root  0 Jul  9 19:32 devices
  9. dr-xr-xr-x 3 root root  0 Jul  9 19:32 freezer
  10. dr-xr-xr-x 3 root root  0 Jul  9 19:32 hugetlb
  11. dr-xr-xr-x 5 root root  0 Jul  9 19:32 memory
  12. lrwxrwxrwx 1 root root 16 Jul  9 19:32 net_cls -> net_cls,net_prio
  13. dr-xr-xr-x 3 root root  0 Jul  9 19:32 net_cls,net_prio
  14. lrwxrwxrwx 1 root root 16 Jul  9 19:32 net_prio -> net_cls,net_prio
  15. dr-xr-xr-x 3 root root  0 Jul  9 19:32 perf_event
  16. dr-xr-xr-x 5 root root  0 Jul  9 19:32 pids
  17. dr-xr-xr-x 5 root root  0 Jul  9 19:32 systemd

这些目录代表了 Cgroups 的子系统，Docker 会在每一个 Cgroups 子系统下创建 docker 文件夹。

举例memory子系统

以 memory 子系统（memory 子系统是Cgroups 众多子系统的一个，主要用来限制内存使用）为例，讲解一下监控组件是如何获取到容器的资源限制和使用状态的（即容器的内存限制）。

首先在主机上使用以下命令启动一个资源限制为 1 核 2G 的 nginx 容器：

  1. $ docker run --name=nginx --cpus=1 -m=2g --name=nginx  -d nginx
  2. ## 这里输出的是容器 ID
  3. 51041a74070e9260e82876974762b8c61c5ed0a51832d74fba6711175f89ede1
  5. 注意：如果你已经创建过名称为 nginx 的容器，请先使用 docker  rm -f nginx 命令删除已经存在的 nginx 容器。

容器启动后，通过命令行的输出可以得到容器的 ID，同时 Docker 会在/sys/fs/cgroup/memory/docker目录下以容器 ID 为名称创建对应的文件夹。

  1. $ sudo ls -l /sys/fs/cgroup/memory/docker
  2. total 0
  3. drwxr-xr-x 2 root root 0 Sep  2 15:12 51041a74070e9260e82876974762b8c61c5ed0a51832d74fba6711175f89ede1
  4. -rw-r--r-- 1 root root 0 Sep  2 14:57 cgroup.clone_children
  5. --w--w--w- 1 root root 0 Sep  2 14:57 cgroup.event_control
  6. -rw-r--r-- 1 root root 0 Sep  2 14:57 cgroup.procs
  7. -rw-r--r-- 1 root root 0 Sep  2 14:57 memory.failcnt
  8. --w------- 1 root root 0 Sep  2 14:57 memory.force_empty
  9. -rw-r--r-- 1 root root 0 Sep  2 14:57 memory.kmem.failcnt
  10. -rw-r--r-- 1 root root 0 Sep  2 14:57 memory.kmem.limit_in_bytes
  11. -rw-r--r-- 1 root root 0 Sep  2 14:57 memory.kmem.max_usage_in_bytes
  12. -r--r--r-- 1 root root 0 Sep  2 14:57 memory.kmem.slabinfo
  13. -rw-r--r-- 1 root root 0 Sep  2 14:57 memory.kmem.tcp.failcnt
  14. -rw-r--r-- 1 root root 0 Sep  2 14:57 memory.kmem.tcp.limit_in_bytes
  15. -rw-r--r-- 1 root root 0 Sep  2 14:57 memory.kmem.tcp.max_usage_in_bytes
  16. -r--r--r-- 1 root root 0 Sep  2 14:57 memory.kmem.tcp.usage_in_bytes
  17. -r--r--r-- 1 root root 0 Sep  2 14:57 memory.kmem.usage_in_bytes
  18. -rw-r--r-- 1 root root 0 Sep  2 14:57 memory.limit_in_bytes
  19. -rw-r--r-- 1 root root 0 Sep  2 14:57 memory.max_usage_in_bytes
  20. -rw-r--r-- 1 root root 0 Sep  2 14:57 memory.memsw.failcnt
  21. -rw-r--r-- 1 root root 0 Sep  2 14:57 memory.memsw.limit_in_bytes
  22. -rw-r--r-- 1 root root 0 Sep  2 14:57 memory.memsw.max_usage_in_bytes
  23. -r--r--r-- 1 root root 0 Sep  2 14:57 memory.memsw.usage_in_bytes
  24. -rw-r--r-- 1 root root 0 Sep  2 14:57 memory.move_charge_at_immigrate
  25. -r--r--r-- 1 root root 0 Sep  2 14:57 memory.numa_stat
  26. -rw-r--r-- 1 root root 0 Sep  2 14:57 memory.oom_control
  27. ---------- 1 root root 0 Sep  2 14:57 memory.pressure_level
  28. -rw-r--r-- 1 root root 0 Sep  2 14:57 memory.soft_limit_in_bytes
  29. -r--r--r-- 1 root root 0 Sep  2 14:57 memory.stat
  30. -rw-r--r-- 1 root root 0 Sep  2 14:57 memory.swappiness
  31. -r--r--r-- 1 root root 0 Sep  2 14:57 memory.usage_in_bytes
  32. -rw-r--r-- 1 root root 0 Sep  2 14:57 memory.use_hierarchy
  33. -rw-r--r-- 1 root root 0 Sep  2 14:57 notify_on_release
  34. -rw-r--r-- 1 root root 0 Sep  2 14:57 tasks

可以看到 Docker 已经创建了以容器 ID 为名称的目录，再使用 ls 命令查看一下该目录的内容：

  1. $ sudo ls -l /sys/fs/cgroup/memory/docker/51041a74070e9260e82876974762b8c61c5ed0a51832d74fba6711175f89ede1
  2. total 0
  3. -rw-r--r-- 1 root root 0 Sep  2 15:21 cgroup.clone_children
  4. --w--w--w- 1 root root 0 Sep  2 15:13 cgroup.event_control
  5. -rw-r--r-- 1 root root 0 Sep  2 15:12 cgroup.procs
  6. -rw-r--r-- 1 root root 0 Sep  2 15:12 memory.failcnt
  7. --w------- 1 root root 0 Sep  2 15:21 memory.force_empty
  8. -rw-r--r-- 1 root root 0 Sep  2 15:21 memory.kmem.failcnt
  9. -rw-r--r-- 1 root root 0 Sep  2 15:12 memory.kmem.limit_in_bytes
  10. -rw-r--r-- 1 root root 0 Sep  2 15:21 memory.kmem.max_usage_in_bytes
  11. -r--r--r-- 1 root root 0 Sep  2 15:21 memory.kmem.slabinfo
  12. -rw-r--r-- 1 root root 0 Sep  2 15:21 memory.kmem.tcp.failcnt
  13. -rw-r--r-- 1 root root 0 Sep  2 15:21 memory.kmem.tcp.limit_in_bytes
  14. -rw-r--r-- 1 root root 0 Sep  2 15:21 memory.kmem.tcp.max_usage_in_bytes
  15. -r--r--r-- 1 root root 0 Sep  2 15:21 memory.kmem.tcp.usage_in_bytes
  16. -r--r--r-- 1 root root 0 Sep  2 15:21 memory.kmem.usage_in_bytes
  17. -rw-r--r-- 1 root root 0 Sep  2 15:12 memory.limit_in_bytes
  18. -rw-r--r-- 1 root root 0 Sep  2 15:12 memory.max_usage_in_bytes
  19. -rw-r--r-- 1 root root 0 Sep  2 15:21 memory.memsw.failcnt
  20. -rw-r--r-- 1 root root 0 Sep  2 15:12 memory.memsw.limit_in_bytes
  21. -rw-r--r-- 1 root root 0 Sep  2 15:21 memory.memsw.max_usage_in_bytes
  22. -r--r--r-- 1 root root 0 Sep  2 15:21 memory.memsw.usage_in_bytes
  23. -rw-r--r-- 1 root root 0 Sep  2 15:21 memory.move_charge_at_immigrate
  24. -r--r--r-- 1 root root 0 Sep  2 15:21 memory.numa_stat
  25. -rw-r--r-- 1 root root 0 Sep  2 15:13 memory.oom_control
  26. ---------- 1 root root 0 Sep  2 15:21 memory.pressure_level
  27. -rw-r--r-- 1 root root 0 Sep  2 15:21 memory.soft_limit_in_bytes
  28. -r--r--r-- 1 root root 0 Sep  2 15:21 memory.stat
  29. -rw-r--r-- 1 root root 0 Sep  2 15:21 memory.swappiness
  30. -r--r--r-- 1 root root 0 Sep  2 15:12 memory.usage_in_bytes
  31. -rw-r--r-- 1 root root 0 Sep  2 15:21 memory.use_hierarchy
  32. -rw-r--r-- 1 root root 0 Sep  2 15:21 notify_on_release
  33. -rw-r--r-- 1 root root 0 Sep  2 15:21 tasks

由上可以看到，容器 ID 的目录下有很多文件，其中 memory.limit_in_bytes 文件代表该容器内存限制大小，单位为 byte，我们使用 cat 命令（cat 命令可以查看文件内容）查看一下文件内容：

  1. $ sudo cat /sys/fs/cgroup/memory/docker/51041a74070e9260e82876974762b8c61c5ed0a51832d74fba6711175f89ede1/memory.limit_in_bytes
  2. 2147483648

可以看到memory.limit_in_bytes 的值为2147483648，转换单位后正好为 2G，启动容器时的内存限制 2G。
可以知道监控组件通过读取 memory.limit_in_bytes 文件即可获取到容器内存的限制值。

内存使用情况存放在 memory.usage_in_bytes 文件里，同样我们也使用 cat 命令查看一下文件内容:

  1. $ sudo /sys/fs/cgroup/memory/docker/51041a74070e9260e82876974762b8c61c5ed0a51832d74fba6711175f89ede1/memory.usage_in_bytes
  2. 4259840

可以看到当前内存的使用大小为 4259840 byte，约为 4 M。

网络监控数据

网络的监控数据来源是从 /proc/{PID}/net/dev 目录下读取的，其中 PID 为容器在主机上的进程 ID。下面我们首先使用 docker inspect 命令查看一下上面启动的 nginx 容器的 PID，命令如下：

  1. $ docker inspect nginx |grep Pid
  2.             "Pid": 27348,
  3.             "PidMode": "",
  4.             "PidsLimit": 0,

可以看到容器的 PID 为 27348，使用 cat 命令查看一下 /proc/27348/net/dev 的内容：

  1. $ sudo cat /proc/27348/net/dev
  2. Inter-|   Receive                                                |  Transmit
  3.  face |bytes    packets errs drop fifo frame compressed multicast|bytes    packets errs drop fifo colls carrier compressed
  4.     lo:       0       0    0    0    0     0          0         0        0       0    0    0    0     0       0          0
  5.   eth0:       0       0    0    0    0     0          0         0        0       0    0    0    0     0       0          0

/proc/27348/net/dev 文件记录了该容器里每一个网卡的流量接收和发送情况，以及错误数、丢包数等信息。可见容器的网络监控数据都是定时从这里读取并展示的。

总结一下，容器的监控原理其实就是定时读取 Linux 主机上相关的文件并展示给用户。cAdvisor 是提供监控数据的，Prometheus 是负责采集的数据的，生产集群中一般都是 cAdvisor 配合 Prometheus 一起使用。