实验环境：
架构图：
主机环境：
操作系统：因docker对内核需要，本次部署操作系统全部采用centos7.6(需要内核3.8以上)
VM ：2C 2G 50G * 5 PS:因后面实验需要向k8s交付java服务，所以运算节点直接4c8g，如果不交付服务，全部2c2g即可。
IP及服务规划：
安装步骤：
所有机器上安装epel源：
#yum -y install epel-release
关闭防火墙以及selinux：
# systemctl stop firewalld# systemctl disable firewalld
#setenforce 1
vi /etc/selinux/config
SELINUX=disabled
hdss7-11上安装bind9：
#yum -y install wget net-tools telnet tree nmap sysstat lrzsz dos2unix bind-utils -y
#yum install bind -y
配置bind：
#vi /etc/named.conf
修改以下配置项：
注意此服务对配置文件格式要求比较严格
listen-on port 53 { 127.0.0.1; }; ----> listen-on port 53 { 10.4.7.11; }; #将127.0.0.1修改为当前主机IP
allow-query { localhost; }; ----> allow-query { any; }; #为哪些服务器提供解析服务
dnssec-enable yes; ----> dnssec-enable no; # 是否支持DNSSEC开关 PS：dnssec作用：1.为DNS数据提供来源验证 2.为数据提供完整性性验证 3.为查询提供否定存在验证
dnssec-validation yes; ----> dnssec-validation no; #是否进行DNSSEC确认开关
添加以下配置项：
forwarders { 10.4.7.1; }; #用来指定上一层DNS地址，一般指定网关，确保服务能够访问公网
如果不适用IPV6，可以将以下配置删除：
listen-on-v6 port 53 { ::1; };
配置文件截图：（仅粘贴修改部分）
检查配置文件：
#named-checkconf
修改zons文件：
#vi /etc/named.rfc1912.zones
在文件最后，添加本次需要用到的两个dns域：
zone "host.com" IN {
type master;
file "host.com.zone";
allow-update { 10.4.7.11; };
};
zone "od.com" IN {
type master;
file "od.com.zone";
allow-update { 10.4.7.11; };
};
编辑刚刚添加的两个域的配置文件：将用到的DNS域解析A记录添加到配置文件
# vi /var/named/host.com.zone
$ORIGIN host.com.
$TTL 600 ; 10 minutes
@ IN SOA dns.host.com. dnsadmin.host.com. (
2019111001 ; serial
10800 ; refresh (3 hours)
900 ; retry (15 minutes)
604800 ; expire (1 week)
86400 ; minimum (1 day)
)
NS dns.host.com.
$TTL 60 ; 1 minute
dns A 10.4.7.11
HDSS7-11 A 10.4.7.11
HDSS7-12 A 10.4.7.12
HDSS7-21 A 10.4.7.21
HDSS7-22 A 10.4.7.22
HDSS7-200 A 10.4.7.200
#vi /var/named/od.com.zone
$ORIGIN od.com.
$TTL 600 ; 10 minutes
@ IN SOA dns.od.com. dnsadmin.od.com. (
2019111001 ; serial
10800 ; refresh (3 hours)
900 ; retry (15 minutes)
604800 ; expire (1 week)
86400 ; minimum (1 day)
)
NS dns.od.com.
$TTL 60 ; 1 minute
dns A 10.4.7.11harbor A 10.4.7.20
修改主机dns：将nameserver 修改为bind9搭建的服务器地址（所有主机都要修改）
vim /etc/resolv.conf
search host.com nameserver 10.4.7.11
修改网卡配置：PS：如果网卡指定了DNS1配置
vim /etc/sysconfig/network-scripts/ifcfg-eth0
DNS1=10.4.7.11
重启网卡(所有主机)，重启named服务(bind主机)
#systemctl restart network
# systemctl enable named
# systemctl restart named
验证是否可以访问公网，以及是否是走的我们自己搭建的dns服务：
#nslookup www.baidu.com
PS：如果虚拟机vm的宿主机在自己的windows或者mac上，将宿主机的dns指向10.4.7.11，方便一会使用浏览器验证内容
配置CA证书服务：
使用cfssl
在主机hdss7-200上操作：
# cd /usr/bin
# wget https://pkg.cfssl.org/R1.2/cfssl_linux-amd64 -O /usr/bin/cfssl # wget https://pkg.cfssl.org/R1.2/cfssljson_linux-amd64 -O /usr/bin/cfssl-json # wget https://pkg.cfssl.org/R1.2/cfssl-certinfo_linux-amd64 -O /usr/bin/cfssl-certinfo
给执行权限：
# chmod +x /usr/bin/cfssl*
创建证书存放位置(可自己设置)：
# mkdir /opt/certs# cd /opt/cert
创建证书申请文件：
# vi /opt/certs/ca-csr.json
文件内容：#这里注意"expiry": "175200h"，key，如果使用kubeadmin安装，默认证书有效期是1年，我们这里手动部署为20年，这里如果证书失效，会导致整个k8s集群瘫痪。
{
"CN": "OldboyEdu",
"hosts": [
],
"key": {
"algo": "rsa",
"size": 2048
},
"names": [
{
"C": "CN",
"ST": "beijing",
"L": "beijing",
"O": "od",
"OU": "ops"
}
],
"ca": {
"expiry": "175200h"
}
}
申请证书：
# cfssl gencert -initca ca-csr.json | cfssl-json -bare ca
申请成功：
PS:我们后面的所有证书，都是基于这套ca证书签发的。
接下来继续在hdss-7-200服务器上安装docker，配置私有仓库harbor：
# curl -fsSL https://get.docker.com | bash -s docker --mirror Aliyun
编辑docker配置文件：
# mkdir /etc/docker# mkdir /data/docker# vi /etc/docker/daemon.jso
{
"graph": "/data/docker",
"storage-driver": "overlay2",
"insecure-registries": ["registry.access.redhat.com","quay.io","harbor.od.com"],
"registry-mirrors": ["https://q2gr04ke.mirror.aliyuncs.com"],
"bip": "172.7.21.1/24",
"exec-opts": ["native.cgroupdriver=systemd"],
"live-restore": true
}
启动docker并添加开机启动：
# systemctl start docker # systemctl enable docker
在opt下创建安装包存放目录：
# mkdir /opt/src# cd /opt/src
下载地址:
# wget https://github.com/goharbor/harbor/releases/download/v1.9.2/harbor-offline-installer-v1.9.2.tgz
编辑harbor配置文件：
# vim /opt/harbor/harbor.yml