Docker镜像仓库Harbor之搭建及配置

Docker镜像仓库Harbor之搭建及配置... 1

一、 Harbor简介... 1

二、安装和配置Harbor. 3

1. 环境说明... 3

2. 安装docker. 4

3. 安装docker-compose. 4

4. 安装harbor. 6

5. 修改配置文件... 6

6. 执行安装脚本... 6

7. Harbor启动和停止... 7

8. 访问测试... 7

三、测试上传和下载镜像... 8

四、 Harbor配置TLS证书... 9

1. 修改Harbor配置文件... 9

2. 创建自签名证书key文件... 9

3. 创建自签名证书crt文件... 10

4. 开始安装Harbor. 10

5. 客户端配置... 10

6. 测试是否支持https访问... 10

五、镜像删除... 11

六、遇到问题... 13

一、 Harbor简介

1. Harbor介绍

Docker容器应用的开发和运行离不开可靠的镜像管理，虽然Docker官方也提供了公共的镜像仓库，但是从安全和效率等方面考虑，部署我们私有环境内的Registry也是非常必要的。Harbor是由VMware公司开源的企业级的Docker Registry管理项目，它包括权限管理(RBAC)、LDAP、日志审核、管理界面、自我注册、镜像复制和中文支持等功能。

2. Harbor特性

基于角色的访问控制 ：用户与Docker镜像仓库通过“项目”进行组织管理，一个用户可以对多个镜像仓库在同一命名空间（project）里有不同的权限。
镜像复制 ：镜像可以在多个Registry实例中复制（同步）。尤其适合于负载均衡，高可用，混合云和多云的场景。
图形化用户界面 ：用户可以通过浏览器来浏览，检索当前Docker镜像仓库，管理项目和命名空间。
AD/LDAP 支持： Harbor可以集成企业内部已有的AD/LDAP，用于鉴权认证管理。
审计管理 ：所有针对镜像仓库的操作都可以被记录追溯，用于审计管理。
国际化 ：已拥有英文、中文、德文、日文和俄文的本地化版本。更多的语言将会添加进来。
RESTful API ： RESTful API 提供给管理员对于Harbor更多的操控, 使得与其它管理软件集成变得更容易。
部署简单 ：提供在线和离线两种安装工具，也可以安装到vSphere平台(OVA方式)虚拟设备。

3. Harbor组件

Harbor在架构上主要由6个组件构成：

Proxy：Harbor的registry, UI, token等服务，通过一个前置的反向代理统一接收浏览器、Docker客户端的请求，并将请求转发给后端不同的服务。
Registry：负责储存Docker镜像，并处理docker push/pull 命令。由于我们要对用户进行访问控制，即不同用户对Docker image有不同的读写权限，Registry会指向一个token服务，强制用户的每次docker pull/push请求都要携带一个合法的token, Registry会通过公钥对token 进行解密验证。
Core services：这是Harbor的核心功能，主要提供以下服务：
UI：提供图形化界面，帮助用户管理registry上的镜像（image）, 并对用户进行授权。
webhook：为了及时获取registry 上image状态变化的情况，在Registry上配置webhook，把状态变化传递给UI模块。
token 服务：负责根据用户权限给每个docker push/pull命令签发token. Docker 客户端向Regiøstry服务发起的请求,如果不包含token，会被重定向到这里，获得token后再重新向Registry进行请求。
Database：为core services提供数据库服务，负责储存用户权限、审计日志、Docker image分组信息等数据。
Job Services：提供镜像远程复制功能，可以把本地镜像同步到其他Harbor实例中。
Log collector：为了帮助监控Harbor运行，负责收集其他组件的log，供日后进行分析。

各个组件之间的关系如下图所示：

Harbor实现

Harbor的每个组件都是以Docker容器的形式构建的，官方也是使用Docker Compose来对它进行部署。用于部署Harbor的Docker Compose模板位于 harbor/docker-compose.yml,打开这个模板文件，发现Harbor是由7个容器组成的；

nginx：nginx负责流量转发和安全验证，对外提供的流量都是从nginx中转，所以开放https的443端口，它将流量分发到后端的ui和正在docker镜像存储的docker registry。
harbor-jobservice：harbor-jobservice 是harbor的job管理模块，job在harbor里面主要是为了镜像仓库之前同步使用的;
harbor-ui：harbor-ui是web管理页面，主要是前端的页面和后端CURD的接口;
registry：registry就是docker原生的仓库，负责保存镜像。
harbor-adminserver：harbor-adminserver是harbor系统管理接口，可以修改系统配置以及获取系统信息。
这几个容器通过Docker link的形式连接在一起，在容器之间通过容器名字互相访问。对终端用户而言，只需要暴露proxy （即Nginx）的服务端口。
harbor-db：harbor-db是harbor的数据库，这里保存了系统的job以及项目、人员权限管理。由于本harbor的认证也是通过数据，在生产环节大多对接到企业的ldap中；
harbor-log：harbor-log是harbor的日志服务，统一管理harbor的日志。通过inspect可以看出容器统一将日志输出的syslog。

这几个容器通过Docker link的形式连接在一起，这样，在容器之间可以通过容器名字互相访问。对终端用户而言，只需要暴露proxy （即Nginx）的服务端口。

二、安装和配置Harbor

1. 环境说明

环境名称	版本
系统版本	CentOS Linux release 7.2.1511 (Core)
docker-ce	17.03.1-ce
docker-compose	1.16.1
Harbor	v1.2.0
安装方式	在线安装
安装位置	/usr/local/harbor

2. 安装docker

安装Harbor需要先安装docker和docker-compose

# yum install -y yum-utils \

device-mapper-persistent-data \

lvm2

配置repository：

# yum-config-manager \

--add-repo \

https://download.docker.com/linux/centos/docker-ce.repo

安装最新版本docker-ce Docker version 17.03.1-ce

# yum install docker-ce

启动docker:

# systemctl start docker

如果需要卸载docker-ce，操作如下：
yum remove docker-ce
卸载后images，containers，volumes，configuration files 是不能自动删除的，为了删除all images，containers，and volumes，请执行如下命令：
rm -rf /var/lib/docker

3. 安装docker-compose

方法一：二进制安装

a.下载二进制文件

# curl -L https://github.com/docker/compose/releases/download/1.16.1/docker-compose-`uname -s`-`uname -m` -o /usr/local/bin/docker-compose

如果需要安装其他版本的话，请修改上面命令中的版本号。

b.赋予二进制文件可执行权限

# chmod +x /usr/local/bin/docker-compose

c.根据自己的情况决定是否安装命令补全功能

# yum install bash-completion

[root@test-tz-master ~]# curl -L https://github.com/docker/compose/releases/download/1.22.0/docker-compose-`uname -s`-`uname -m` -o /usr/local/bin/docker-compose

# docker-compose

build config down exec images logs port pull restart run start top up

bundle create events help kill pause ps push rm scale stop unpause version

d.测试是否安装成功

# docker-compose --version

docker-compose version 1.22.0, build 6d1ac21

如果是单机版,则将此文件拷贝到/usr/local/bin/docker-compose,执行即可,只能用这种方式安装的进行，pip方式拷贝不生效。

方法二：pip

# yum install python-pip

# pip install --upgrade pip

# pip install docker-compose

测试：

# docker-compose --version

卸载docker-compose
对应上面两种安装方法：
二进制：

# rm /usr/local/bin/docker-compose

pip 方式

# pip uninstall docker-compose

根据情况看是否需要安装

没有python-pip包执行命令 yum install –y epel-release

执行yum install 报错

"Couldn't open file /etc/pki/rpm-gpg/RPM-GPG-KEY-EPEL-7"

解决：yum install -y epel-release

# cd /etc/pki/rpm-gpg

# wget https://archive.fedoraproject.org/pub/epel/RPM-GPG-KEY-EPEL-7

报错及解决

报错：ReadTimeoutError: HTTPSConnectionPool(host='pypi.python.org', port=443): Read timed out

# pip --default-timeout=200 install -U docker-compose

如果报错：

pkg_resources.DistributionNotFound: backports.ssl-match-hostname>=3.5

解决方法：更新backports.ssl-match-hostname的版本，在终端输入命令
　　pip install --upgrade backports.ssl_match_hostname

4. 安装harbor

安装方式分为在线安装和离线安装两种方式，我这里选择的是离线安装。

# wget -P /usr/loca/src/ https://github.com/vmware/harbor/releases/download/v1.6.0/harbor-offline-installer-v1.6.0.tgz

# cd /usr/local/src/

# tar zxf harbor-online-installer-v1.2.0.tgz -C /usr/local/

# cd /usr/local/harbor/

5. 修改配置文件

# vim /usr/local/harbor/harbor.cfg

hostname = http://192.168.1.121

#邮箱配置

email_server = smtp.qq.com

email_server_port = 25

email_username = unixfbi@unixfbi.com

email_password =12345678

email_from = UnixFBI <unixfbi@unixfbi.com>

email_ssl = false

#禁止用户注册

self_registration = off

#用户创建项目权限控制，默认是everyone（所有人），也可以设置为adminonly（只能管理员）

project_creation_restriction = adminonly

harbor_admin_password = Harbor

6. 执行安装脚本

# sh install.sh

出现以下安装成功

Now you should be able to visit the admin portal at http://192.168.1.121

For more details, please visit https://github.com/vmware/harbor

7. Harbor启动和停止

Harbor 的日常运维管理是通过docker-compose来完成的，Harbor本身有多个服务进程，都放在docker容器之中运行，我们可以通过docker ps命令查看。

[root@node01-1 harbor]# docker-compose ps

Name Command State Ports

------------------------------------------------------------------------------------------------------------------------------

harbor-adminserver /harbor/start.sh Up

harbor-db /entrypoint.sh postgres Up 5432/tcp

harbor-jobservice /harbor/start.sh Up

harbor-log /bin/sh -c /usr/local/bin/ ... Up 127.0.0.1:1514->10514/tcp

harbor-ui /harbor/start.sh Up

nginx nginx -g daemon off; Up 0.0.0.0:443->443/tcp, 0.0.0.0:4443->4443/tcp, 0.0.0.0:80->80/tcp

redis docker-entrypoint.sh redis ... Up 6379/tcp

registry /entrypoint.sh /etc/regist ... Up 5000/tcp

Harbor的启动和停止

启动Harbor

# docker-compose start docker-compose up -d

停止Harbor

# docker-comose stop docker-compose down -v

重启Harbor

# docker-compose restart

8. 访问测试

浏览器访问：http://192.168.1.121

后台登录仓库

[root@node01-1 harbor]# docker login 192.168.1.121 -uadmin -pHarbor

Error response from daemon: Get https://192.168.1.121/v1/users/: dial tcp 192.168.1.121:443: getsockopt: connection refused

[root@node01-1 harbor]# netstat -ntpl

Active Internet connections (only servers)

Proto Recv-Q Send-Q Local Address Foreign Address State PID/Program name

tcp 0 0 0.0.0.0:22 0.0.0.0:* LISTEN 855/sshd

tcp 0 0 127.0.0.1:1514 0.0.0.0:* LISTEN 1475/docker-proxy-c

tcp6 0 0 :::80 :::* LISTEN 1509/docker-proxy-c

tcp6 0 0 :::22 :::* LISTEN 855/sshd

tcp6 0 0 :::443 :::* LISTEN 1498/docker-proxy-c

tcp6 0 0 :::4443 :::* LISTEN 1487/docker-proxy-c

kernel:unregister_netdevice: waiting for lo to become free. Usage count = 1

查文档千变一律说docker一个bug，卸载重装后依然，

# yum remove docker\*

# yum remove container-selinux\*

# ls docker-ce-

docker-ce-17.03.2.ce-1.el7.centos.x86_64.rpm docker-ce-selinux-17.03.2.ce-1.el7.centos.noarch.rpm

# yum install docker-ce-*

# rm -rf /var/lib/docker

# systemctl restart docker

重新安装harbor，

三、测试上传和下载镜像

更改配置文件不生效,后docker版本更换为17.03，生效

vi /usr/lib/systemd/system/docker.service

ExecStart=/usr/bin/dockerd --insecure-registry 192.168.1.121:80

# systemctl daemon-reload

# systemctl restart docker

# docker login 192.168.1.121:80 -uadmin -pHarbor12345

# docker tag e548f1a579cf 192.168.1.120:80/library/nginx:t1

# docker push 192.168.1.120:80/library/nginx:t1

修改vi /usr/lib/systemd/system/docker.service

ExecStart=/usr/bin/dockerd --insecure-registry 192.168.1.120

# systemctl daemon-reload

# systemctl restart docker

# docker login 192.168.1.120

Username: admin

Password:

[root@master-1 harbor]# docker push 192.168.1.120/library/nginx:t2

The push refers to a repository [192.168.1.120/library/nginx]

e89b70d28795: Pushed

832a3ae4ac84: Layer already exists

014cf8bfcb2d: Layer already exists

t1: digest: sha256:9b1ac09900081baca06c8cad32767aeceed9ee62404b1f0c20122cb9a7b1a6e1 size: 948

可见docker配置文件配的什么就是什么，

至此私有镜像库搭建完毕！

四、 Harbor配置TLS证书

1. 修改Harbor配置文件

修改harbor.cfg

hostname = rgs.unixfbi.com

ui_url_protocol = https

ssl_cert = /etc/certs/ca.crt

ssl_cert_key = /etc/certs/ca.key

2. 创建自签名证书key文件

# mkdir /etc/certs

# openssl genrsa -out /etc/certs/ca.key 2048

Generating RSA private key, 2048 bit long modulus

....+++

..................................................+++

e is 65537 (0x10001)

3. 创建自签名证书crt文件

注意命令中/CN=rgs.unixfbi.com字段中rgs.unixfbi.com修改为你自己的仓库域名。

# openssl req -x509 -new -nodes -key /etc/certs/ca.key -subj "/CN=rgs.unixfbi.com" -days 5000 -out /etc/certs/ca.crt

4. 开始安装Harbor

# ./install.sh

✔ ----Harbor has been installed and started successfully.----

Now you should be able to visit the admin portal at https://rgs.unixfbi.com.

For more details, please visit https://github.com/vmware/harbor .

5. 客户端配置

客户端需要创建证书文件存放的位置，并且把服务端创建的证书拷贝到该目录下，然后重启客户端docker。我们这里创建目录为：/etc/docker/certs.d/rgs.unixfbi.com

# mkdir -p /etc/docker/certs.d/rgs.unixfbi.com

把服务端crt证书文件拷贝到客户端，例如我这的客户端为：192.168.199.183

# scp /etc/certs/ca.crt root@192.168.199.183:/etc/docker/certs.d/rgs.unixfbi.com/

重启客户端docker

# systemctl restart docker

6. 测试是否支持https访问

# docker login rgs.unixfbi.com

Username (admin):

Password:

五、镜像删除

Harbor私有仓库运行一段时间后，仓库中存有大量镜像，会占用太多的存储空间。直接通过Harbor界面删除相关镜像，并不会自动删除存储中的文件和镜像。需要停止Harbor服务，执行垃圾回收命令，进行存储空间清理和回收。

#要启用垃圾回收（GC），首先要关闭Harbor服务，然后再执行清理命令

#停止Harbor相关服务

$ docker-compose stop

#使用--dry-run参数运行容器，预览运行效果，但不删除任何数据

$ docker run -it --name gc --rm --volumes-from registry vmware/registry:2.6.2-photon garbage-collect --dry-run /etc/registry/config.yml

#NOTE: The above option "--dry-run" will print the progress without removing any data.

Verify the result of the above test, then use the below commands to perform garbage collection and restart Harbor.

#不使用--dry-run参数，将删除相关的文件和镜像，

$ docker run -it --name gc --rm --volumes-from registry vmware/registry:2.6.2-photon garbage-collect /etc/registry/config.yml

#重新启动Harbor相关服务

$ docker-compose start

图1：01-先在Harbor UI图形界面中删除不需要的镜像

图2：02-停止Harbor服务，执行垃圾回收命令

[root@master-1 harbor]# docker images | grep goharbor | grep registry

goharbor/registry-photon v2.6.2-v1.6.0 98bf341403a5 6 days ago 201 MB

# docker run -it --name gc --rm --volumes-from registry goharbor/registry-photon:v2.6.2-v1.6.0 garbage-collect --dry-run /etc/registry/config.yml

# docker run -it --name gc --rm --volumes-from registry goharbor/registry-photon:v2.6.2-v1.6.0 garbage-collect /etc/registry/config.yml

六、遇到问题

遇到的问题就是Harbor我配置的是http访问，但是docker客户端默认都是https访问Harbor，所以就会产生错误。下面看看我是怎么解决这个问题的吧。下面我们来访问以下Harbor

# docker pull rgs.unixfbi.com/library/centos7.1:0.1

Error response from daemon: Get https://rgs.unixfbi.com/v1/_ping: dial tcp 192.168.199.233:443: getsockopt: connection refused

解决方法：
方法一：
在docker启动的配置仓库地址添加如下内容：
--insecure-registry rgs.unixfbi.com

# vim /usr/lib/systemd/system/docker.service

ExecStart=/usr/bin/dockerd --insecure-registry rgs.unixfbi.com

然后

# systemctl daemon-reload

# systemctl restart docker

补充：--insecure-registry 192.168.1.14:5000

dig @114.114.114.114 registry-1.docker.io

参考文档:

docker官网： https://docs.docker.com/install/

compose文档：https://docs.docker.com/compose/install/#install-compose

harbor官网：https://github.com/goharbor/harbor/releases

来源：https://www.cnblogs.com/storm1018/p/9624389.html

标签

docker-compose

docker私有仓库搭建

docker命令

nginx

yum

Docker之企业级私有镜像仓库Harbor的部署

Docker镜像仓库Harbor之搭建及配置

一、 Harbor简介

二、 安装和配置Harbor

1. 环境说明

2. 安装docker

3. 安装docker-compose

4. 安装harbor

5. 修改配置文件

6. 执行安装脚本

7. Harbor启动和停止

8. 访问测试

三、 测试上传和下载镜像

四、 Harbor配置TLS证书

1. 修改Harbor配置文件

2. 创建自签名证书key文件

3. 创建自签名证书crt文件

4. 开始安装Harbor

5. 客户端配置

6. 测试是否支持https访问

五、 镜像删除

六、 遇到问题

二、安装和配置Harbor

三、测试上传和下载镜像

五、镜像删除

六、遇到问题