参考:https://docs.gitlab.com/runner/configuration/advanced-configuration.html#the-global-section

GitLab Runner配置使用TOML格式。

可以在以下位置找到要编辑的文件:

  • /etc/gitlab-runner/config.toml在GitLab Runner以超级用户(root)执行时
  • ~/.gitlab-runner/config.toml 当以非root用户身份执行GitLab Runner时
  • ./config.toml 在其他系统上

gitlab-runner 支持使用 -c 指定配置文件,config.toml 文件主要分为三个区段:

  • 全局区段
  • session_server 区段
  • runners 区段

1. 全局区段

主要可配置如下:

Setting Description
concurrent 限制全局可以并发运行的作业的数量。使用所有已定义运行程序的作业的最大上限。0并不意味着无限
log_level 日志级别(选项:debug、info、warn、error、fatal、panic)。请注意,此设置的优先级低于命令行参数 --debug,-l--log-level设置的级别
log_format 日志格式(选项:runner、text、json)。请注意,此设置的优先级低于命令行参数 --log-format设置的格式
check_interval 定义新作业检查之间的间隔长度(以秒为单位)。默认值为3;如果设置为0或更低,则使用默认值。
sentry_dsn 启用对Sentry的所有系统级错误的跟踪
listen_address Prometheus metrics HTTP服务器应该监听的地址(<主机>:<端口>)

//示例

  1. concurrent = 4
  2. log_level = "warning"

2. [session_server] 区段

[info]注意:helm chart 还不支持 session_server,但是计划提供支持。

[session_server]区段是一个系统 Runner 级别的配置,因此它应该在根级别指定,而不是在每个执行器上,也就是说,它应该在[[runners]]区段之外。会话服务器允许用户与运行程序负责的作业进行交互。交互式web终端就是一个很好的例子。

Setting Description
listen_address 用于会话服务器的内部URL。
advertise_address Runner 将公开给GitLab用于访问会话服务器的URL。返回listen_address(如果没有定义)。
session_timeout 作业完成后会话保持活动的时间(这会阻止作业完成),默认为1800(30分钟)。

//示例

  1. [session_server]
  2. listen_address = "0.0.0.0:8093" # listen on all available interfaces on port 8093
  3. advertise_address = "runner-host-name.tld:8093"
  4. session_timeout = 1800

[info]如果使用GitLab Runner docker映像,还需要通过在docker run命令中添加-p 8093:8093来公开端口8093。

3. runners 区段

Setting Description
name Runner 的描述
url GitLab URL
token Runner的通信令牌(请勿与注册令牌混淆)
tls-ca-file 使用HTTPS时用于验证对等方的证书的文件
tls-cert-file 使用HTTPS时要与对等方进行身份验证的证书的文件
tls-key-file 使用HTTPS时要与对等方进行身份验证的私钥的文件
limit 限制此令牌可以同时处理多少个作业。0(默认)表示不限制
executor 构建项目要使用的执行器
shell 生成脚本的shell的名称。默认值是平台相关的。
builds_dir 目录的绝对路径,构建将存储在选定执行程序(本地、Docker、SSH)的上下文中。
cache_dir 目录的绝对路径,其中构建缓存将存储在选定的执行程序(本地、Docker、SSH)的上下文中。如果使用docker executor,则需要在其卷参数中包含此目录。
environment 追加或覆盖环境变量
request_concurrency 限制GitLab对新作业的并发请求数量(默认1)
output_limit 设置最大构建日志大小(以kb为单位),默认设置为4096 (4MB)
pre_clone_script 在克隆Git存储库之前要在Runner上执行的命令。例如,这可以首先用于调整Git客户机配置。要插入多个命令,请使用(三引号)多行字符串或“\n”字符。
pre_build_script 在克隆Git存储库之后,但在执行构建之前,要在Runner上执行的命令。要插入多个命令,请使用(三引号)多行字符串或“\n”字符。
post_build_script 要在Runner上执行的命令在执行构建之后,但在执行after_script之前执行。要插入多个命令,请使用(三引号)多行字符串或“\n”字符。
clone_url 覆盖GitLab实例的URL。如果Runner无法在URL GitLab上连接到GitLab,则使用GitLab。
debug_trace_disabled 禁用CI_DEBUG_TRACE特性。当设置为true时,即使用户将CI_DEBUG_TRACE设置为true,调试日志(跟踪)也将保持禁用状态。
referees 额外的工作(job)监视工作者(workers),将他们的结果作为工作工件传递给GitLab

//示例

  1. [[runners]]
  2. name = "ruby-2.6-docker"
  3. url = "https://CI/"
  4. token = "TOKEN"
  5. limit = 0
  6. executor = "docker"
  7. builds_dir = ""
  8. shell = ""
  9. environment = ["ENV=value", "LC_ALL=en_US.UTF-8"]
  10. clone_url = "http://gitlab.example.local"

3.1 clone_url

在GitLab实例暴露给 Runner 不能使用的URL的情况下,可以配置clone_url。

例如;GitLab暴露于 https://gitlab.example.com ,但是由于防火墙设置,Runner 无法到达该位置。如果Runner 可以到达192.168.1.23上的节点,则应该将clone_url设置为 http://192.168.1.23

只有在设置了clone_url之后,runner 才会以 http://gitlab-ci-token:s3cr3tt0k3n@192.168.1.23/namespace/project.git 的形式构造一个克隆URL

3.2 执行器

目前有效的执行器如下:

Executor Description
shell 默认情况下,在本地运行build
docker 使用Docker容器运行构建。这需要[runners.docker]的存在。和docker引擎安装在一个系统上,运行程序将在该系统上运行作业。
docker-windows 使用Windows Docker容器运行构建。这需要[runners.docker]docker引擎安装在Windows系统上。
docker-ssh 使用Docker容器运行构建,但是使用SSH连接到它——这需要[runners.docker] , [runners.ssh]Docker引擎。注意:这将在本地机器上运行docker容器,它只是改变了命令在该容器内的运行方式。如果希望在外部机器上运行docker命令,那么应该更改 runners.docker 中的 host 参数。
ssh 使用SSH远程运行构建—这需要有[runner.ssh]
parallels 使用Parallels VM运行构建,但是使用SSH连接到它——这需要[runners.parallels] and [runners.ssh]
virtualbox 使用VirtualBox VM运行构建,但是使用SSH连接到它——这需要[runners.virtualbox] and [runners.ssh]
docker+machine 像docker,但使用自动缩放的docker machines -这需要存在[runners.docker] and [runners.machine]
docker-ssh+machine 与docker-ssh类似,但是使用自动伸缩的Docker机器——这需要[runners.docker] and [runners.machine]
kubernetes 使用Kubernetes pod运行构建——这需要有[runner.Kubernetes]的存在。

3.3 shells

有两对可用的shell可以在不同的平台上运行。

shell Description
bash 生成Bash (Bourne-shell)脚本。在Bash上下文中执行的所有命令(所有Unix系统的缺省值)
sh 生成Sh (Bourne-shell)脚本。在Sh上下文中执行的所有命令(所有Unix系统的bash后备命令)
cmd 生成Windows批处理脚本。所有命令都在批处理上下文中执行(默认为Windows)
powershell 生成Windows PowerShell脚本。所有命令都在PowerShell上下文中执行

3.4 [runners.docker]

这定义了Docker容器参数。

Parameter Description
host 指定自定义Docker端点,默认使用DOCKER_HOST环境或 unix:///var/run/docker.sock
hostname 为Docker容器指定自定义主机名
runtime 为Docker容器指定一个运行时
tls_cert_path 设置时将使用ca.pem、cert.pem和key。从该文件夹中的pem建立到Docker的安全TLS连接(在boot2docker中非常有用)
tls_verify 启用或禁用连接到Docker守护进程的TLS验证。默认情况下禁用。
image 使用此映像运行构建
memory 包含内存限制的字符串值
memory_swap 包含总内存限制的字符串值
memory_reservation 包含内存软限制的字符串值
oom_kill_disable 如果发生内存不足(OOM)错误,不要杀死容器中的进程
oom_score_adjust OOM分数调整,正意味着杀得早
cpuset_cpus 包含要使用的cgroups cpusetcpu的字符串值
cpu_shares 用于设置相对CPU使用量的CPU共享数量,默认为1024
cpus cpu数量的字符串值(在docker 1.13或更高版本中可用)
dns 容器要使用的DNS服务器的列表
dns_search DNS搜索域的列表
privileged 使容器以特权模式运行(不安全)
disable_entrypoint_overwrite 禁用映像 entrypoint 覆盖
userns_mode 当启用usernamespace重新映射选项时,为容器设置usernamespace模式。(可在docker1.10或更高版本中获得)
cap_add 向容器添加额外的Linux功能
cap_drop 从容器中删除额外的Linux功能
security_opt 设置安全选项(-security-opt in docker run),获取’:’分隔键/值的列表
devices 与容器共享其他主机设备
cache_dir 指定Docker缓存应该存储在哪里(可以是绝对的,也可以是相对于当前工作目录的)。有关更多信息,请参见disable_cache。
disable_cache Docker执行器有两层缓存:全局缓存(与任何其他执行器一样)和基于Docker卷的本地缓存。此配置标志仅作用于禁止使用自动创建(未映射到主机目录)缓存卷的本地缓存卷。换句话说,它只阻止创建保存构建的临时文件的容器,如果运行器配置为分布式缓存模式,它不会禁用缓存。
network_mode 将容器添加到自定义网络
wait_for_services_timeout 指定等待docker服务的时间,设置为0禁用,默认为30
volumes 指定应该挂载的其他卷(与Docker的-v标志相同的语法)
extra_hosts 指定应该在容器环境中定义的主机
shm_size 为映像指定共享内存大小(以字节为单位)
volumes_from 以`[:<ro rw>]`的形式指定要从另一个容器继承的卷的列表。访问级别默认为读写,但可以手动设置为ro(只读)或rw(读写)。
volume_driver 指定容器使用的卷驱动程序
links 指定应该与构建容器链接的容器
allowed_images 指定可以在.gitlab-ci.yml中指定的图像的通配符列表。如果不提供所有映像,则允许(相当于["*/*:*"])
allowed_services 指定可以在.gitlab-ci.yml中指定的通配符服务列表。如果不提供所有映像,则允许(相当于["*/*:*"])
pull_policy 指定映像拉取策略:neverif-not-presentalways(默认);请参阅pull策略文档
sysctls 指定sysctl选项
helper_image (高级)覆盖用于克隆repos和上传工件的默认 helper 映像

(1) [[runners.docker.services]] 部分

指定应该与构建一起运行的其他服务。每个服务将在单独的容器中运行,并链接到构建。

Parameter Description
name 要作为服务运行的映像的名称
alias 可用于访问服务的附加别名

//示例

  1. [runners.docker]
  2. host = ""
  3. hostname = ""
  4. tls_cert_path = "/Users/ayufan/.boot2docker/certs"
  5. image = "ruby:2.6"
  6. memory = "128m"
  7. memory_swap = "256m"
  8. memory_reservation = "64m"
  9. oom_kill_disable = false
  10. cpuset_cpus = "0,1"
  11. cpus = "2"
  12. dns = ["8.8.8.8"]
  13. dns_search = [""]
  14. privileged = false
  15. userns_mode = "host"
  16. cap_add = ["NET_ADMIN"]
  17. cap_drop = ["DAC_OVERRIDE"]
  18. devices = ["/dev/net/tun"]
  19. disable_cache = false
  20. wait_for_services_timeout = 30
  21. cache_dir = ""
  22. volumes = ["/data", "/home/project/cache"]
  23. extra_hosts = ["other-host:127.0.0.1"]
  24. shm_size = 300000
  25. volumes_from = ["storage_container:ro"]
  26. links = ["mysql_container:mysql"]
  27. allowed_images = ["ruby:*", "python:*", "php:*"]
  28. allowed_services = ["postgres:9", "redis:*", "mysql:*"]
  29. [[runners.docker.services]]
  30. name = "mysql"
  31. alias = "db"
  32. [[runners.docker.services]]
  33. name = "redis:2.8"
  34. alias = "cache"
  35. [[runners.docker.services]]
  36. name = "postgres:9"
  37. alias = "postgres-db"
  38. [runners.docker.sysctls]
  39. "net.ipv4.ip_forward" = "1"

(2) [runners.docker] valuemes 使用

让我们用一些例子来解释它是如何工作的(假设您有一个工作的runner)

示例1: 添加数据卷

数据卷是绕过联合文件系统的一个或多个容器中专门指定的目录。数据卷的设计目的是持久化数据,与容器的生命周期无关。

  1. [runners.docker]
  2. host = ""
  3. hostname = ""
  4. tls_cert_path = "/Users/ayufan/.boot2docker/certs"
  5. image = "ruby:2.6"
  6. privileged = false
  7. disable_cache = true
  8. volumes = ["/path/to/volume/in/container"]

这将在容器内/path/to/volume/in/container 处创建一个新卷

示例2:将主机目录挂载为数据卷

除了使用数据卷创建卷之外,还可以将目录从Docker守护进程的主机挂载到容器中。当您希望将目录存储在容器之外时,它非常有用。

  1. [runners.docker]
  2. host = ""
  3. hostname = ""
  4. image = "ruby:2.6"
  5. privileged = false
  6. disable_cache = true
  7. volumes = ["/path/to/bind/from/host:/path/to/bind/in/container:rw"]

主机目录 /path/to/bind/from/host 和 容器目录 /path/to/bind/in/container进行了绑定

[info]GitLab Runner 11.11和更新版本也将挂载已定义服务的主机目录。

(3) 使用私有容器仓库

如果要使用私有仓库源作为构建的映像源,可以在项目的 GitLab 变量部分或config.toml 文件中设置 DOCKER_AUTH_CONFIG。

Runner 执行的步骤总结为:

  • 从映像名称中找到仓库地址
  • 如果该值不为空,则执行程序将为此仓库搜索验证配置
  • 最后,如果找到了与指定仓库相对应的身份验证,则后续拉取将使用它。

Docker 授权解析的优先级

如上所述,GitLab Runner可以通过使用以不同方式发送的凭据来针对仓库授权Docker。为了找到适当的仓库,请考虑以下优先级:

  • 凭证配置为DOCKER_AUTH_CONFIG。
  • 使用 ~/.docker/config.json 或 ~/.dockercfg 文件在Runner主机上本地配置的凭据(例如,通过docker login在主机上运行)。
  • 默认情况下随作业的有效负载发送的凭证(例如,上述集成注册表的凭证)。

将使用第一个找到的仓库凭据。因此,例如,如果使用变量为集成注册表添加一些凭据DOCKER_AUTH_CONFIG,则默认凭据将被覆盖。

allowed_images

我们可以使用该选项定义,只能使用允许的私有 Docker 仓库。

  1. [runners.docker]
  2. ...
  3. allowed_images = ["my.registry.tld:5000/*:*"]

3.5 [runners.ssh] 区段

Parameter Description
host 连接到哪里(使用docker-ssh时被覆盖)
port 指定端口,默认值:22
user 指定用户
password 指定密码
identity_file 指定SSH私有密钥的文件路径(id_rsa、id_dsa或id_edcsa)。文件需要不加密地存储

//示例

  1. [runners.ssh]
  2. host = "my-production-server"
  3. port = "22"
  4. user = "root"
  5. password = "production-server-password"
  6. identity_file = ""

3.6 [runners.cache] 区段

GitLab Runner 1.1.0 中引入。

Parameter Type Description
Type string s3 或 gcs
Path string 添加到缓存URL前的路径的名称。
Shared boolean 启用运行程序之间的缓存共享,默认为false。

(1)[runners.cache.s3]

允许配置S3存储用于缓存。本节包含与S3相关的设置,这些设置以前在该[runners.cache]节中全局存在。

//示例

  1. [runners.cache]
  2. Type = "s3"
  3. Path = "path/to/prefix"
  4. Shared = false
  5. [runners.cache.s3]
  6. ServerAddress = "s3.amazonaws.com"
  7. AccessKey = "AMAZON_S3_ACCESS_KEY"
  8. SecretKey = "AMAZON_S3_SECRET_KEY"
  9. BucketName = "runners-cache"
  10. BucketLocation = "eu-west-1"
  11. Insecure = false

参考:https://docs.gitlab.com/runner/configuration/advanced-configuration.html#the-runnerscaches3-section

3.7 [runners.kubernetes] 区段

GitLab Runner v1.6.0 中添加

Parameter Type Description
host string 可选的Kubernetes主机URL(如果未指定,将尝试自动发现)
cert_file string 可选的Kubernetes认证证书
key_file string 可选的Kubernetes主认证私钥
ca_file string 可选的Kubernetes主认证证书
image string 默认的docker镜像,当没有指定时用于构建
namespace string 命名空间来运行Kubernetes作业
privileged boolean 运行所有启用了特权标志的容器
node_selector table 一个table的key=value对string=string。设置此限制将Pod的创建限制为与所有key=value对匹配的Kubernetes节点
image_pull_secrets array 用于验证docker映像提取的秘密列表

//示例

  1. [runners.kubernetes]
  2. host = "https://45.67.34.123:4892"
  3. cert_file = "/etc/ssl/kubernetes/api.crt"
  4. key_file = "/etc/ssl/kubernetes/api.key"
  5. ca_file = "/etc/ssl/kubernetes/ca.crt"
  6. image = "golang:1.8"
  7. privileged = true
  8. image_pull_secrets = ["docker-registry-credentials"]
  9. [runners.kubernetes.node_selector]
  10. gitlab = "true"

更多参考:https://docs.gitlab.com/runner/executors/kubernetes.html

4. Helper image

当使用docker、docker+machine或kubernetes执行器之一时,GitLab Runner使用特定的容器来处理Git、工件和缓存操作。这个容器是由一个名为helper映像的特殊映像创建的。

helper 映像基于Alpine Linux,它提供amd64和arm架构。它包含一个gitLab-run-helper二进制文件,这是GitLab Runner二进制文件的特殊编译,只包含可用命令的一个子集,以及Git、Git LFS、SSL证书存储和Alpine的基本配置。

当从DEB/RPM包中安装GitLab Runner时,两个映像(amd64和基于arm的)都安装在主机上。当运行器为作业执行准备好环境时,如果在Docker引擎上没有找到指定版本(基于Runner的Git修订版)中的映像,则会自动加载它。它对docker和docker+machine执行器都是这样工作的。

对于kubernetes executor或手动安装GitLab Runner时,情况略有不同。对于手动安装,gitlab-runner-helper二进制文件不包括在其中,对于kubernetes executor, kubernetes的API不允许从本地存档加载gitlab-runner-helper映像。在这两种情况下,GitLab Runner都将从Docker Hub (GitLab的官方存储库GitLab / GitLab -run -helper)下载帮助器映像,方法是使用Runner的修订和架构来定义应该下载哪个标记

4.1 覆盖 helper image

在某些情况下,您可能需要覆盖帮助器映像。这样做的原因有很多:

(1)加快作业执行: 在internet连接速度较慢的环境中,从Docker Hub一次又一次地下载相同的映像可能会显著增加作业的时间。从本地注册表(其中存储 gitlab/gitlab-runner-helper:XYZ 的精确副本)下载帮助程序映像可能会加快速度。

(2)安全考虑:许多人不喜欢下载以前没有检查过的外部依赖项。可能有一个业务规则只使用被审查并存储在本地存储库中的依赖项。

(3)构建没有internet访问的环境:在某些情况下,作业是在一个具有专用的、封闭的网络的环境中执行的(这不适用于kubernetes执行程序,因为映像仍然需要从外部注册中心下载,至少kubernetes集群可以从外部注册中心下载映像)。

(4)额外的软件:有些用户可能希望在帮助映像中安装一些额外的软件,比如openssh,以支持通过git+ssh而不是git+http访问的子模块。

在上面描述的任何情况下,都可以使用helper_image配置字段来配置自定义映像,该字段可用于docker、docker+machine和kubernetes执行器:

  1. [[runners]]
  2. (...)
  3. executor = "docker"
  4. [runners.docker]
  5. (...)
  6. helper_image = "my.registry.local/gitlab/gitlab-runner-helper:tag"

请注意,助手映像的版本应该与GitLab Runner的版本严格耦合。就像上面所描述的那样,提供这样的的一个主要原因是 Runner 使用gitlab-runner-helper二进制图像,这编译二进制GitLab runner的一部分来源是使用一个内部API,预计在二进制文件都是相同的。

Runner 默认引用 gitlab/gitlab-run-helper:XYZ 映像,其中XYZ基于运行器的体系结构和Git修订。从GitLab Runner 11.3开始,通过使用版本变量之一,可以自动定义使用过的图像的版本:

  1. [[runners]]
  2. (...)
  3. executor = "docker"
  4. [runners.docker]
  5. (...)
  6. helper_image = "my.registry.local/gitlab/gitlab-runner-helper:x86_64-${CI_RUNNER_REVISION}"

有了这个配置,GitLab Runner将指示执行程序使用基于其编译数据的版本x86_64-${CI_RUNNER_REVISION}中的映像。在将运行程序更新到新版本之后,这将确保运行程序尝试下载正确的映像。当然,这意味着在升级Runner 之前应该将图像上传到注册表,否则作业将开始失败,出现“没有这样的图像”错误