Harbor搭建

Harbor是一个用于存储和分发Docker镜像的企业级Registry服务器,由vmware开源，其通过添加一些企业必需的功能特性，例如安全、标识和管理等，扩展了开源Docker Distribution。作为一个企业级私有Registry 服务器，Harbor提供 了更好的性能和安全。提升用户使用Registry构建和运行环境传输镜像的效率。Harbor支持安装在多个Registry节点的镜像资源复制,镜像全部保存在私有Registry中，确保数据和知识产权在公司内部网络中管控，另外, Harbor也提供了高级的安全特性，诸如用户管理，访问控制和活动审计等。

1、Harbor功能官方介绍

基于角色的访问控制：用户与Docker镜像仓库通过“项目”进行组织管理，一个用户可以对多个镜像仓库在同一命名空间( project)里有不同的权限。

镜像复制：镜像可以在多个Registry 实例中复制(同步)。尤其适合于负载均衡，高可用，混合云和多云的场景。

图形化用户界面：用户可以通过浏览器来浏览，检索当前Docker 镜像仓库，管理项目和命名空间。

AD/LDAP支持：Harbor 可以集成企业内部已有的AD/LDAP，用于鉴权认证管理。

审计管理：所有针对镜像仓库的操作都可以被记录追溯，用于审计管理。

国际化：已拥有英文、中文、德文、日文和俄文的本地化版本。更多的语言将会添加进来

RESTful API- RESTfulAPI：提供给管理员对于Harbor更多的操控，使得与其它管理软件集成变得更容易。

部署简单：提供在线和离线两种安装工具。

  1. nginx：harbor 的一个反向代理组件，代理registry ui、 token 等服务。这个代理会转发harbor web和docker client的各种请求到后端服务上。
  2. harbor-adminserver：harbor 系统管理接口，可以修改系统配置以及获取系统信息。
  3. harbor-db：存储项目的元数据、用户、规则、复制策略等信息。
  4. harbor-jobservice：harbor 里面主要是为了镜像仓库之前同步使用的。
  5. harbor-log：收集其他harbor的日志信息。
  6. harbor-ui：一个用户界面模块，用来管理registry。
  7. registry：存储docker images的服务，并且提供pull/push服务。
  8. redis：存储缓存信息
  9. webhook：当registry 中的image状态发生变化的时候去记录更新日志、复制等
  10. 操作。
  11. token service：在docker client进行pull/push的时候负责token的发放。

2、安装前的准备

在安装之前需要满足是否安装了docker-compose、docker以及python2.7以上还有openssl，centos7以上版本都自带了python和openssl。所以我们先从docker-compose以及docker安装部署开始说起吧！

3、部署Docker-compose

  1. 1、安装所需依赖
  2. yum install py-pip python-dev libffi-dev openssl-dev gcc libc-dev make -y
  4. 2、运行以下命令下载Docker Compose的当前稳定版本
  5. curl -L "https://github.com/docker/compose/releases/download/1.27.4/docker-compose-$(uname -s)-$(uname -m)" -o /usr/local/bin/docker-compose
  7. 3、将可执行权限应用于二进制文件
  8. chmod +x /usr/local/bin/docker-compose
  10. 4、测试是否安装成功
  11. $ docker-compose --version
  12. docker-compose version 1.27.4, build 40524192
  14. #详细参考官方安装文档
  15. https://docs.docker.com/compose/install/#install-compose

4、部署Docker

  1. #详细请参考此文档
  2. https://www.runoob.com/docker/centos-docker-install.html

5、部署Harbor和配置HTTPS

  1. 一、下载harbor离线包
  2. 去https://github.com/goharbor/harbor/releases 到github官网上下载offline离线包，上传到所需安装的机器上
  3. [root@harbor src]# ll
  4. 总用量 543096
  5. -rw-r--r--. 1 root root 556130191 10月 27 09:47 harbor-offline-installer-v2.1.0.tgz
  7. 二、解压Harbor安装包
  8. [root@harbor src]# tar xf harbor-offline-installer-v2.1.0.tgz
  9. [root@harbor src]# mv harbor /usr/local/
  11. 三、配置HTTPS
  12. #创建目录
  13. mkdir /data/harbor/cert -p
  14. cd /data/harbor/cert
  16. #配置证书颁发机构
  17. 1.生成CA证书私钥
  18. openssl genrsa -out ca.key 4096
  20. 2.生成CA证书
  21. openssl req -x509 -new -nodes -sha512 -days 3650 \
  22.  -subj "/C=CN/ST=Shanghai/L=Shanghai/O=xxg/OU=myharbor/CN=xujun.com" \
  23.  -key ca.key \
  24.  -out ca.crt
  26. 字段含义：
  27. C:国家
  28. ST:省份
  29. L:城市
  30. O:组织单位
  31. OU:其他内容
  32. CN:一般填写域名
  34. 配置服务器证书
  35. 1、生成私钥
  36. openssl genrsa -out xujun.com.key 4096
  38. 2、生成证书签名请求（CSR）
  39. openssl req -sha512 -new \
  40.     -subj "/C=CN/ST=Shanghai/L=Shanghai/O=xxg/OU=myharbor/CN=xujun.com" \
  41.     -key xujun.com.key \
  42.     -out xujun.com.csr
  44. 3、生成x509 v3扩展文件
  45. cat > v3.ext <<-EOF
  46. authorityKeyIdentifier=keyid,issuer
  47. basicConstraints=CA:FALSE
  48. keyUsage = digitalSignature, nonRepudiation, keyEncipherment, dataEncipherment
  49. extendedKeyUsage = serverAuth
  50. subjectAltName = @alt_names
  52. [alt_names]
  53. DNS.1=xujun.com
  54. DNS.2=xujun
  55. DNS.3=harbor
  56. EOF
  58. 4、使用v3.ext文件为harbor主机生成证书
  59. openssl x509 -req -sha512 -days 3650 \
  60.     -extfile v3.ext \
  61.     -CA ca.crt -CAkey ca.key -CAcreateserial \
  62.     -in xujun.com.csr \
  63.     -out xujun.com.crt
  65. 5、提供证书给Harbor和Docker
  66. openssl x509 -inform PEM -in xujun.com.crt -out xujun.com.cert
  68. mkdir -p /etc/docker/certs.d/xujun.com/
  69. cp /data/harbor/cert/xujun.com.crt /etc/docker/certs.d/xujun.com/
  71. 四、配置harbor
  72. 修改如下配置：
  73. hostname: xujun.com
  74. https:
  75.   # https port for harbor, default is 443
  76.   port: 443
  77.   # The path of cert and key files for nginx
  78.   certificate: /data/harbor/cert/xujun.com.crt
  79.   private_key: /data/harbor/cert/xujun.com.key
  80. data_volume: /data/harbor
  82. 五、安装harbor
  83. cd /usr/local/harbor
  84. cp -a harbor.yml.tmpl harbor.yml
  85. ./install.sh
  87. 六、访问
  88. 添加解析，修改hosts
  89. 192.168.1.100 xujun.com
  91. 访问https://xujun.com

6、配置Harbor高可用

高可用实现方式：

image.png

Harbor支持基于策略的Docker镜像复制功能，这类似于MySQL的主从同步，其可以实现不同的数据中心、不同的运行环境之间同步镜像，并提供友好的管理界面，大大简化了实际运维中的镜像管理工作，已经有用很多互联网公司使用
harbor搭建内网docker仓库的案例，并且还有实现了双向复制的案列，本文将实现双向复制的部署：

  1. #首先需要搭建两台Harbor服务，具体的部署过程请参考前面的，这里就不详细说明了，直接进入如何配置双向复制
  • 双向复制是基于你的项目上的，所以我们先创建一个新的项目（101上面）

image-20210120230213361.png

image-20210120230408060.png

  • 我们在另外一台harbor上面也要创建一个一模一样的项目名称

image-20210120230521392.png

  • 然后我们点击仓库管理，创建新的仓库名称

image-20210120230725406.png

image-20210120233708497.png

  • 点击复制管理，然后在点击新建规则

image-20210120233746914.png

image-20210120233822800.png

以上10.0.0.101已完成复制功能的操作，现在我们来完成102的操作吧，大致过程一致，只需要IP地址修改一下即可

image-20210120234132100.png

image-20210120234154526.png

好了，到此为止，双复制的配置就完成了，现在让我们来测试一下吧！

  1. #1、登陆的时候，会提示这个是不安全的仓库，这边我们需要修改docker的系统文件
  2. [root@docker-100 ~]# docker login http://10.0.0.101
  3. Username: admin
  4. Password: 
  5. Error response from daemon: Get https://10.0.0.101/v2/: dial tcp 10.0.0.101:443: getsockopt: connection refused
  6. [root@docker-100 ~]# cat /usr/lib/systemd/system/docker.service
  7. ExecStart=/usr/bin/dockerd --insecure-registry 10.0.0.101 --insecure-registry 10.0.0.102  #新增两个私有仓库即可
  8. [root@docker-100 ~]# systemctl daemon-reload
  9. [root@docker-100 ~]# systemctl restart docker
  11. #2、上次镜像至harbor101
  12. [root@docker-100 ~]# docker images
  13. REPOSITORY          TAG                 IMAGE ID            CREATED             SIZE
  14. xxg/alpine-nginx    v1                  7205d7afd77d        6 hours ago         199MB
  15. [root@docker-100 ~]# docker tag xxg/alpine-nginx:v1 10.0.0.101/xxg/xxg/alpine-nginx:v1、
  16. 说明：修改images的名称，不修改成指定格式无法将镜像上传到harbor仓库，格式为：harbor IP/项目名/image名字:版本号
  17. [root@docker-100 ~]# docker push 10.0.0.101/xxg/xxg/alpine-nginx:v1
  18. The push refers to repository [10.0.0.101/xxg/xxg/alpine-nginx]
  19. a4fd258650c6: Pushed 
  20. ab44fa6c34ac: Pushed 
  21. c04d1437198b: Pushed 
  22. v1: digest: sha256:68cf189050d1531f121be659654ce43395573ecde182c56571b0052cbc26374a size: 948
  • 我们可以看到harbor(10.0.0.101)上已经上传了之前的镜像

image-20210121000026302.png

  • 我们可以看一下harbor(10.0.0.102)是否已经同步

image-20210121000111136.png

  • 可以看到已经复制成功，接下来我们在测试一下传到102，101是否可以同步呢？
  1. [root@docker-100 ~]# docker logout 10.0.0.101  #退出之前的101
  2. Removing login credentials for 10.0.0.101
  3. [root@docker-100 ~]# docker login 10.0.0.102  #登陆102
  4. Username: admin
  5. Password: 
  6. Login Succeeded
  7. [root@docker-100 ~]# docker tag centos:latest 10.0.0.102/xxg/centos:latest
  8. [root@docker-100 ~]# docker push 10.0.0.102/xxg/centos:latest
  9. The push refers to repository [10.0.0.102/xxg/centos]
  10. 2653d992f4ef: Pushed 
  11. latest: digest: sha256:dbbacecc49b088458781c16f3775f2a2ec7521079034a7ba499c8b0bb7f86875 size: 529
  • 我们可以看到102上面已经上传了centos镜像

image-20210121000620091.png

  • 那101有木有镜像呢？

image-20210121000643429.png

到此为止，harbor的双向复制就算是完成了。