一、背景

对于运行在后台的docker容器,我们经常需要做的事情是进入到容器中,docker为我们提供了docker exec 、docker attach 命令,并且还提供了nsenter工具,外部工具供我们使用。
docker attach存在的问题是:当多个窗口同时attach到同一个容器时,所有的窗口都会同步的显示,假如其中的一个窗口发生阻塞时,其它的窗口也会阻塞,docker attach命令可以说是最不方便的进入后台docker容器的方法。
docker exec命令是在docker 1.3之后增加的一个比docker attach命令更加方便的命令。
和docker exec差不多方便的命令是nsenter工具。
nsenter 是一个可以用来进入到目标程序说在 namespace 中运行命令的工具,一般可以用于在容器外 debug 容器中运行的程序。

二、安装

1、源码安装 nsenter

  1. cd /tmp;
  2. curl https://www.kernel.org/pub/linux/utils/util-linux/v2.24/util-linux-2.24.tar.gz | tar -zxf-; cd util-linux-2.24;
  3. ./configure --without-ncurses
  4. make nsenter && sudo cp nsenter /usr/local/bin

2、yum安装
util-linux 是一个开放源码的软件包,是一个对任何 Linux 系统的基本工具套件。含有一些标准 Unix 工具,如login。
util-linux 软件包包含许多工具。其中比较重要的是加载、卸载、格式化、分区和管理硬盘驱动器,打开 tty 端口和得到内核消息。

  1. sudo yum install -y util-linux

三、nsenter使用

1、查看帮助

  1. $ nsenter --help
  2. 用法:
  3. nsenter [options] <program> [<argument>...]
  4. Run a program with namespaces of other processes.
  5. 选项:
  6. -t, --target <pid> 要获取名字空间的目标进程
  7. -m, --mount[=<file>] enter mountnamespace
  8. -u, --uts[=<file>] enter UTSnamespace (hostname etc)
  9. -i, --ipc[=<file>] enter System V IPCnamespace
  10. -n, --net[=<file>] enter networknamespace
  11. -p, --pid[=<file>] enter pidnamespace
  12. -U, --user[=<file>] enter usernamespace
  13. -S, --setuid <uid> set uid in enterednamespace
  14. -G, --setgid <gid> set gid in enterednamespace
  15. --preserve-credentialsdo not touch uids or gids
  16. -r, --root[=<dir>] set the root directory
  17. -w, --wd[=<dir>] set the working directory
  18. -F, --no-fork 执行 <程序> 前不 fork
  19. -Z, --follow-context set SELinux context according to --target PID
  20. -h, --help 显示此帮助并退出
  21. -V, --version 输出版本信息并退出
  22. 更多信息请参阅 nsenter(1)。
  23. $ nsenter -V
  24. nsenter,来自 util-linux 2.23.2

在使用nsenter命令之前需要获取到docker容器的进程,然后再使用nsenter工具进去到docker容器中
每一个容器都有.State.Pid,所以这个命令除了容器的id需要我们根据docker ps -a去查找,其他的全部为固定的格式

  1. $ docker inspect -f {{.State.Pid}} 容器名或者容器id
  2. 如下:
  3. $ docker inspect -f {{.State.Pid}} 7b7af641a02d
  4. 20560
  5. $ docker inspect -f {{.State.Pid}} consul_client
  6. 20560

输入该命令便进入到容器中

  1. nsenter --target 上面查到的进程id --mount --uts --ipc --net --pid

解释nsenter指令中进程id之后的参数的含义:
–mount参数是进去到mount namespace中 (文件系统)
–uts参数是进入到uts namespace中 (主机名与域名)
–ipc参数是进入到System V IPC namaspace中 (信号量、消息队列和共享内容)
–net参数是进入到network namespace中 (网络设备、网络栈、端口)
–pid参数是进入到pid namespace中 (进程编号)
–user参数是进入到user namespace中 (用户和用户组)

docker隔离应用应用涉及到的六大名称空间

1、pid 命名空间(进程ID)

不同用户的进程就是通过 pid 命名空间隔离开的,且不同命名空间中可以有相同 pid。所有的 LXC 进程在 Docker 中的父进程为 Docker 进程,每个 LXC 进程具有不同的命名空间。同时由于允许嵌套,因此可以很方便的实现嵌套的 Docker 容器。

2、net 命名空间(网络)

有了 pid 命名空间,每个命名空间中的 pid 能够相互隔离,但是网络端口还是共享 host 的端口。网络隔离是通过 net 命名空间实现的, 每个 net 命名空间有独立的 网络设备,IP 地址,路由表,/proc/net 目录。这样每个容器的网络就能隔离开来。Docker 默认采用 veth 的方式,将容器中的虚拟网卡同 host 上的一 个Docker 网桥 docker0 连接在一起。

3、ipc 命名空间(进程间通信)

容器中进程交互还是采用了 Linux 常见的进程间交互方法(interprocess communication - IPC), 包括信号量、消息队列和共享内存等。然而同 VM 不同的是,容器的进程间交互实际上还是 host 上具有相同 pid 命名空间中的进程间交互,因此需要在 IPC 资源申请时加入命名空间信息,每个 IPC 资源有一个唯一的 32 位 id。

4、mnt 命名空间(挂载文件系统)

类似 chroot,将一个进程放到一个特定的目录执行。mnt 命名空间允许不同命名空间的进程看到的文件结构不同,这样每个命名空间 中的进程所看到的文件目录就被隔离开了。同 chroot 不同,每个命名空间中的容器在 /proc/mounts 的信息只包含所在命名空间的 mount point。

5、UTS 命名空间(主机名/域名)

UTS(“UNIX Time-sharing System”) 命名空间允许每个容器拥有独立的 hostname 和 domain name, 使其在网络上可以被视作一个独立的节点而非 主机上的一个进程。

6、user 命名空间(用户)

每个容器可以有不同的用户和组 id, 也就是说可以在容器内用容器内部的用户执行程序而非主机上的用户。

查看docker的连接

由于使用DOCKER的时候,ESTABLISHED连接不会出现在netstat中,在运行中的docker容器中列出打开的套接字的方法 ,查找docker的进程号 :

  1. docker inspect -f'{{.State.Pid}}' <containerid>
  2. docker inspect -f'{{.State.Pid}}' 1746bf8c10aa
  3. 1829

查看连接

  1. $ sudo nsenter -t <pid> -n netstat | grep ESTABLISHED
  2. 示例:
  3. $ nsenter -t 1829 -n netstat |grep ESTABLISHED
  4. tcp 0 0 localhost:60353 localhost:epmd ESTABLISHED
  5. tcp 0 0 localhost:epmd localhost:60353 ESTABLISHED
  6. tcp 0 0 localhost.localdo:15672 192.168.56.1:59679 ESTABLISHED
  7. tcp6 0 0 172.17.0.2:amqp 192.168.56.1:59898 ESTABLISHED
  8. tcp6 21 0 172.17.0.2:amqp 192.168.56.1:59571 ESTABLISHED

结合 docker 使用用于在某个容器的 namespace 中运行指定程序的常用命令是:

  1. PID=$(docker inspect --format {{.State.Pid}} <container_name_or_ID>)
  2. nsenter -m -u -i -n -p -t $PID <command>

例子:

  1. $ docker run --rm --name test -d busybox sleep 10000
  2. 8115009baccc53a2a5f6dfff642e0d8ab1dfb95dde473d14fb9a06ce4e89364c
  3. $ docker ps |grep busybox
  4. 8115009baccc busybox "sleep 10000" 9 seconds ago Up 8 seconds test
  5. $ PID=$(docker inspect --format {{.State.Pid}} 8115009baccc)
  6. $ nsenter -m -u -i -n -p -t $PID ps aux
  7. PID USER TIME COMMAND
  8. 1 root 0:00 sleep 10000
  9. 7 root 0:00 ps aux
  10. $ nsenter -m -u -i -n -p -t $PID hostname
  11. 8115009bacc

创建docker-enter并置于$PATH下(将shell脚本放到环境变量中,任意路径可执行)
脚本放置:

  1. cd ~
  2. #创建bin文件夹,也可以按自己喜好在指定位置下创建目录(目录名也可以自定义)
  3. mkdir bin
  4. vim ~/.bashrc
  5. #移到最后一行,添加以下命令,其中:表示路径分隔符,~/bin就是我们刚才创建的文件路径
  6. export PATH=$PATH:~/bin
  7. source ~/.bashrc
  8. 在~/bin 目录下创建自己的脚本
  9. chmod +x xxx.sh

脚本:vim docker-enter

  1. #!/bin/bash
  2. if [ -e $(dirname"$0")/nsenter ]; then
  3. # with boot2docker, nsenter is not in the PATH but it is in the same folder
  4. NSENTER=$(dirname"$0")/nsenter
  5. else
  6. NSENTER=nsenter
  7. fi
  8. if [ -z"$1" ]; then
  9. echo"Usage: `basename "$0"` CONTAINER [COMMAND [ARG]...]"
  10. echo""
  11. echo"Enters the Docker CONTAINER and executes the specified COMMAND."
  12. echo"If COMMAND is not specified, runs an interactive shell in CONTAINER."
  13. else
  14. PID=$(docker inspect --format"{{.State.Pid}}" "$1")
  15. if [ -z"$PID" ]; then
  16. exit 1
  17. fi
  18. shift
  19. OPTS="--target $PID --mount --uts --ipc --net --pid /bin/bash"
  20. if [ -z"$1" ]; then
  21. # No command given.
  22. # Use su to clear all host environment variables except for TERM,
  23. # initialize the environment variables HOME, SHELL, USER, LOGNAME, PATH,
  24. # and start a login shell.
  25. #"$NSENTER" $OPTS su - root
  26. "$NSENTER" $OPTS
  27. else
  28. # Use env to clear all host environment variables.
  29. "$NSENTER" $OPTS env --ignore-environment --"$@"
  30. fi
  31. fi

常见问题

  1. $ sudo nsenter -t 31340 -n netstat | grep ESTABLISHED
  2. nsenter: failed to execute netstat: 没有那个文件或目录

推荐阅读

Site not found · GitHub Pages
通过nsenter连接docker容器 - 秋楓 - 博客园