[Buildkit] 镜像构建工具 Buildkit

开源工具已经不能满足 DID 的需求

DID (Docker in docker 的演进)

docker run -v /var/run/docker.sock:/var/run/docker.sock -it docker

• 远程仓库权限：对于 Docker credential 的隔离可以利用不同容器实例之间 Home directory 不同做到
• 缓存：同一台宿主机上的缓存可以通过同一个 Docker daemon 共享
• 本地权限：由于不同容器实例挂在同一个宿主机的 Docker daemon 进程，所有实例里 docker 命令的权限也是共享的，也就是说不同容器实例可以查看甚至更新、删除到同一个 Docker daemon 下别的容器实例构建产生的镜像。

Build without docker daemon

• Kaniko 是由 Google 开发的在 k8s 上做 docker 构建的命令行工具，使用非常简洁，只需要 build 一个二进制工具即可，支持 dockerfile 构建、push、credentail 文件读取。
• Buildkit 是 docker 公司开发，目前由社区和 docker 公司合理维护的“含着金钥匙出生”的新一代构建工具，拥有良好的扩展性、极大地提高了构建速度，以及更好的安全性，功能上配合 docker 使用还是没问题的，独立使用功能其实有残缺，这个放到后面来讲。
• img 是社区贡献者开发，基于 buildkit 封装的类 docker 化命令行工具，无需 daemon 进程，无需 privilege，可以独立运行的二进制工具，非常小巧易用，而且有着和 buildkit 一样的性能优势。

社区活跃度

kaniko > img > buildkit

kaniko 踩坑

• Dockerfile 支持不全：由于实现方式和 docker 不同，kaniko 并不是完全兼容 dockerfile 的所有语法：例如多阶段构建中 FROM … AS xxx 的语法 xxx 首字母不能大写；from 的镜像系统文件无法在 build 的时候被覆盖而是会报错
• 缓存不能共享，kaniko 的缓存只能够利用到基础镜像级别，即事先把镜像放到缓存目录下， kaniko 可以使用这个本地镜像，而构建过程中产生的镜像 layers 则不能复用。docker 多阶段构建会有相当多的 dependency 中间产物，每次构建都去下载这些依赖会极大地降低构建速度从而带来不好的体验

img 踩坑

Buildkit 介绍

• 更高效：支持并行的多阶段构建、更好的缓存管理；
• 更安全：支持 secret mount，无需 root priviliege；
• 更易于扩展：使用自定义中间语言 LLB，完全兼容 Dockerfile，也可支持第三方语言（目前仅有Buildpacks），后台目前可支持 runC 和 containerd 两种 worker。

与其他构建工具对比

工作原理

buildkitd & buildctl

• gRPC API: 使用 Google RPC 协议高效通信
• Go client library：基于 Go 的客户端方便调用
• rootless execution：buildctl 不需要 root 权限就可以执行
• OpenTracing：支持镜像 layer 的逐层溯源
• multi-worker model：支持多种 worker(runC 和 containerd)，可扩展

使用

安装

docker run --name buildkit -d --privileged -p 1234:1234 moby/buildkit --addr tcp://0.0.0.0:1234
export BUILDKIT_HOST=tcp://0.0.0.0:1234
docker cp buildkit:/usr/bin/buildctl /usr/local/bin/
buildctl build --help

构建

# 本地构建
buildctl --addr tcp://localhost:1234 build --frontend=dockerfile.v0 --local context=. --local dockerfile=.
# 等同于 docker build
buildctl --addr tcp://localhost:1234 build --frontend=dockerfile.v0 --local context=. --local dockerfile=. --output type=docker,name=myimage | docker load
# push
buildctl build --frontend dockerfile.v0 --local context=. --local dockerfile=. --output type=image,name=docker.io/username/image,push=true

权限

缓存

不足

运行权限

稳定性测试

• 速度不太稳定，同一个镜像在没有网络依赖的情况下构建速度在 30s-10min 之间摆动
• buildctl 和同一台宿主机上的 buildkitd 通信不时会出现网络问题，出现概率 10%

结论