Docker Kubernetes 环境搭建
节点规划
- 版本
- 系统:Centos 7.4 x64
- Docker版本:18.09.0
- Kubernetes版本:v1.8
- etcd存储版本:etcd-3.2.22
- 部署
- 管理节点:192.168.1.79
- 安装插件:etcd
- 安装插件:kube-apiserver
- 安装插件:kube-controller-manager
- 安装插件:kube-scheduler
- 工作节点:192.168.1.78
- 安装插件:kubelet
- 安装插件:kube-proxy
- 安装插件:docker
- 工作节点:192.168.1.77
- 安装插件:kubelet
- 安装插件:kube-proxy
- 安装插件:docker
Kubernetes 部署方式
1、kubeadm工具快捷安装kubernetes集群。kubeadm工具安装会屏蔽很多细节。
2、通过kubernetes二进制包安装。
- kubernetes二进制包:https://github.com/kubernetes/kubernetes
- kubernetes是基于GO语言开发的需要安装Go语言环境。
注:这里我采用第2种,由于安装环境繁琐,将事先编译好的Kubernetes工具包来进行环境部署。
- kubernetes工具包:https://pan.baidu.com/s/1xvAadiCZmxKs22Zpqw3VNQ
- 密码:pyjq
1、管理节点:安装etcd存储
1.1、安装etcd存储
yum install etcd -y
1.2、编辑配置文件添加配置参数
vim /etc/etcd/etcd.conf
ETCD_DATA_DIR="/var/lib/etcd/default.etcd"
ETCD_LISTEN_CLIENT_URLS="http://0.0.0.0:2379"
ETCD_ADVERTISE_CLIENT_URLS=http://0.0.0.0:2379
1.3、重启服务,添加开机自启动
systemctl enable etcd
systemctl restart etcd
1.4、查看监听端口
netstat -antp | grep etcd


tcp 0 0 127.0.0.1:2379 0.0.0.0:* LISTEN 15737/etcd
tcp 0 0 127.0.0.1:2380 0.0.0.0:* LISTEN 15737/etcd
tcp 0 0 127.0.0.1:2379 127.0.0.1:59936 ESTABLISHED 15737/etcd
tcp 0 0 127.0.0.1:59936 127.0.0.1:2379 ESTABLISHED 15737/etcd
2、管理节点:安装kubernetes Master 运行节点组织
2.1、解压master包加入执行文件
unzip master.zip;chmod +x *
2.2、创建目录
mkdir /opt/kubernetes/{bin,cfg} -p
2.3、将压缩文件kube移动到bin目录下
mv kube-apiserver kube-controller-manager kube-scheduler kubectl /opt/kubernetes/bin
2.4、修改apiserver.sh、controller-manager.sh、scheduler.sh脚本文件
vim apiserver.sh
# Mster监听地址IP
MASTER_ADDRESS=${1:-"192.168.1.79"}
# ETCD数据库服务地址
ETCD_SERVERS=${2:-"http://192.168.1.79:2379"}
vim controller-manager.sh
# Mster监听地址IP
MASTER_ADDRESS=${1:-"192.168.1.79"}
vim scheduler.sh
# Mster监听地址IP
MASTER_ADDRESS=${1:-"192.168.1.79"}
2.5、运行kubernetes启动脚本 masterIP地址默认端口8080 加etcd地址
./apiserver.sh 192.168.1.79 http://192.168.1.79:2379


命令:ps -ef | grep kube
root 16724 1 99 15:47 ? 00:00:02 /opt/kubernetes/bin/kube-apiserver --logtostderr=true --v=4 --etcd-servers=http://192.168.1.97:2379 --storage-backend=etcd2 --insecure-bind-address=0.0.0.0 --insecure-port=8080 --kubelet-port=10250 --advertise-address=192.168.1.97 --allow-privileged=false --service-cluster-ip-range=10.10.10.0/24


命令:journalctl -u kube-apiserver
-- Logs begin at 三 2018-11-07 10:10:28 CST, end at 一 2018-11-12 15:44:12 CST. --
11月 12 15:39:57 management systemd[1]: Started Kubernetes API Server.
11月 12 15:39:57 management systemd[1]: Starting Kubernetes API Server...
11月 12 15:39:57 management kube-apiserver[15964]: Flag --kubelet-port has been deprecated, kubelet-port is deprecated and will be removed.
11月 12 15:39:57 management kube-apiserver[15964]: I1112 15:39:57.747966 15964 flags.go:52] FLAG: --address="0.0.0.0"
11月 12 15:39:57 management kube-apiserver[15964]: I1112 15:39:57.748035 15964 flags.go:52] FLAG: --admission-control="[AlwaysAdmit]"
11月 12 15:39:57 management kube-apiserver[15964]: I1112 15:39:57.748050 15964
2.6、运行scheduler.sh调度脚本 加masterIP地址默认端口8080
./scheduler.sh 192.168.1.79


命令:journalctl -u kube-scheduler
-- Logs begin at 三 2018-11-07 10:10:28 CST, end at 一 2018-11-12 15:50:36 CST. --
11月 12 15:49:51 management systemd[1]: Starting Kubernetes Scheduler...
11月 12 15:49:52 management kube-scheduler[16963]: I1112 15:49:52.010384 16963 flags.go:52] FLAG: --address="0.0.0.0"
11月 12 15:49:52 management kube-scheduler[16963]: I1112 15:49:52.010558 16963 flags.go:52] FLAG: --algorithm-provider="DefaultProvider"
11月 12 15:49:52 management kube-scheduler[16963]: I1112 15:49:52.010579 16963 flags.go:52] FLAG: --alsologtostderr="false"
11月 12 15:49:52 management kube-scheduler[16963]: I1112 15:49:52.010588 16963 flags.go:52] FLAG: --contention-profiling="false"
11月 12 15:49:52 management kube-scheduler[16963]: I1112 15:49:52.010651 16963 flags.go:52] FLAG: --kubeconfig=""
2.7、运行controller-manager.sh管理端控制脚本 加masterIP地址默认端口8080
./controller-manager.sh 192.168.1.79


命令:journalctl -u kube-controller-manager
-- Logs begin at 三 2018-11-07 10:10:28 CST, end at 一 2018-11-12 15:55:57 CST. --
11月 12 15:52:54 management systemd[1]: Started Kubernetes Controller Manager.
11月 12 15:52:54 management systemd[1]: Starting Kubernetes Controller Manager...
11月 12 15:52:54 management kube-controller-manager[17311]: I1112 15:52:54.296770 17311 flags.go:52] FLAG: --address="0.0.0.0"
11月 12 15:52:54 management kube-controller-manager[17311]: I1112 15:52:54.296977 17311 flags.go:52] FLAG: --allocate-node-cidrs="false"
11月 12 15:52:54 management kube-controller-manager[17311]: I1112 15:52:54.297001 17311 flags.go:52] FLAG: --allow-untagged-cloud="false"
11月 12 15:52:54 management kube-controller-manager[17311]: I1112 15:52:54.297007 17311 flags.go:52] FLAG: --allow-verification-with-non-compliant-keys="false"
11月 12 15:52:54 management kube-controller-manager[17311]: I1112 15:52:54.297015 17311 flags.go:52] FLAG: --alsologtostderr="false"
2.8、将kubernetes添加到环境变量,并设置立即生效
echo "export PATH=$PATH:/opt/kubernetes/bin" >> /etc/profile
source /etc/profile
3、工作节点1与2:kubernetes Node 运行节点组织
3.1、解压node包并加入执行文件
unzip node.zip;chmod +x *
3.2、创建目录
mkdir -p /opt/kubernetes/{bin,cfg}
3.3、将压缩文件kube移动到bin目录下
mv kubelet kube-proxy /opt/kubernetes/bin
3.4、修改脚本配置文件
vim kubelet.sh
# MASTER服务端地址
MASTER_ADDRESS=${1:-"192.168.1.79"}
# 本地工作节点地址
NODE_ADDRESS=${2:-"192.168.1.79"}
# DNS地址
DNS_SERVER_IP=${3:-"192.168.1.1"}
DNS_DOMAIN=${4:-"cluster.local"}
# 配置文件地址 主要用于连接API服务
KUBECONFIG_DIR=${KUBECONFIG_DIR:-/opt/kubernetes/cfg}
3.5、禁用所有的swap分区,不然启动会报错
swapoff -a
3.6、启动kubelet.sh管理本机运行容器生命周期服务脚本
# ./kubelet.sh master地址 本机地址 DNS地址
./kubelet.sh 192.168.1.79 192.168.1.78 10.10.10.2


命令:ps -aux | grep kubelet
root 57592 2.9 0.8 622884 72492 ? Ssl 16:30 0:01 /opt/kubernetes/bin/kubelet --logtostderr=true --v=4 --address=192.168.1.78 --hostname-override=192.168.1.78 --kubeconfig=/opt/kubernetes/cfg/kubelet.kubeconfig --allow-privileged=false --cluster-dns=10.10.10.2 --cluster-domain=cluster.local
root 57708 0.0 0.0 112732 2304 pts/0 S+ 16:31 0:00 grep --color=auto kubelet


命令:journalctl -u kubelet
-- Logs begin at 三 2018-11-07 09:36:45 CST, end at 一 2018-11-12 16:32:28 CST. --
11月 12 16:20:08 slave02 systemd[1]: Started Kubernetes Kubelet.
11月 12 16:20:08 slave02 systemd[1]: Starting Kubernetes Kubelet...
11月 12 16:20:08 slave02 kubelet[57178]: I1112 16:20:08.295744 57178 flags.go:52] FLAG: --address="192.168.1.78"
11月 12 16:20:08 slave02 kubelet[57178]: I1112 16:20:08.295853 57178 flags.go:52] FLAG: --allow-privileged="false"
11月 12 16:20:08 slave02 kubelet[57178]: I1112 16:20:08.295887 57178 flags.go:52] FLAG: --alsologtostderr="false"
11月 12 16:20:08 slave02 kubelet[57178]: I1112 16:20:08.295899 57178 flags.go:52] FLAG: --anonymous-auth="true"


命令:netstat -antp | grep 10250
tcp 0 0 192.168.1.78:10250 0.0.0.0:* LISTEN 57592/kubelet
3.7、启动网络代理proxy.sh脚本
# ./proxy.sh Master地址 本地地址
./proxy.sh 192.168.1.79 192.168.1.78


命令:journalctl -u kube-proxy
-- Logs begin at 三 2018-11-07 09:36:45 CST, end at 一 2018-11-12 16:36:30 CST. --
11月 12 16:34:39 slave02 systemd[1]: Started Kubernetes Proxy.
11月 12 16:34:39 slave02 systemd[1]: Starting Kubernetes Proxy...
11月 12 16:34:39 slave02 kube-proxy[57883]: W1112 16:34:39.787713 57883 server.go:191] WARNING: all flags other than --config, --write-config-to, and --cleanup are deprecated. Please begi
11月 12 16:34:39 slave02 kube-proxy[57883]: W1112 16:34:39.801807 57883 server_others.go:263] Flag proxy-mode="" unknown, assuming iptables proxy
11月 12 16:34:39 slave02 kube-proxy[57883]: I1112 16:34:39.804394 57883 server_others.go:117] Using iptables Proxier.
11月 12 16:34:39 slave02 kube-proxy[57883]: W1112 16:34:39.805553 57883 server.go:580] Failed to retrieve node info: Get
4、管理节点:测试查看集群节点是否加入
查看节点加入信息
kubectl get node
NAME STATUS ROLES AGE VERSION
192.168.1.77 Ready <none> 5m v1.8.0
192.168.1.78 Ready <none> 5m v1.8.0
查看组件运行状态
kubectl get componentstatus
NAME STATUS MESSAGE ERROR
scheduler Healthy ok
controller-manager Healthy ok
etcd-0 Healthy {"health": "true"}
查看服务版本
kubectl version


Client Version: version.Info{Major:"1", Minor:"8", GitVersion:"v1.8.0", GitCommit:"6e937839ac04a38cac63e6a7a306c5d035fe7b0a", GitTreeState:"clean", BuildDate:"2017-09-28T22:57:57Z", GoVersion:"go1.8.3", Compiler:"gc", Platform:"linux/amd64"}
Server Version: version.Info{Major:"1", Minor:"8", GitVersion:"v1.8.0", GitCommit:"6e937839ac04a38cac63e6a7a306c5d035fe7b0a", GitTreeState:"clean", BuildDate:"2017-09-28T22:46:41Z", GoVersion:"go1.8.3", Compiler:"gc", Platform:"linux/amd64"}


该配置文件通过下边官方配置文件后进行的修改:
kubernetes二进制包:
/kubernetes/cluster/centos/master/scripts/apiserver.sh
注:启动脚本将二进制命令交给系统
注:systemd管理服务启动后由systemd管理,都设置了开机启动。
注:标签默认指定名称生成。


一、kubelet再创建pod时会先下载一个pause镜像,这个镜像用于容器基础网络管理,但这个镜像仓库。(gcr.io/google_containers/pause-amd64:3.0)是国外的,不能顺利下载。
解决办法:
# 国内下载pause镜像
docker pull registry.cn-hangzhou.aliyuncs.com/google-containers/pause-amd64:3.0
# tag是kubernetes默认的仓库和版本好地址。
docker tag registry.cn-hangzhou.aliyuncs.com/google-containers/pause-amd64:3.0 gcr.io/google_containers/pause-amd64:3.0
或者
# 指定镜像仓库位置
--pod-infra-container-image=registry.cn-hangzhou.zliyuncs.com/google-containers/pause-amd64.3.0
再或者翻墙
二、Docker默认镜像仓库是Docker Hub,可能会下载速度慢或者超时。
改善方法:
curl -sSL https://get.daocloud.io/daotools/set_mirror.sh | sh -s http://04be47cf.m.daocloud.io
# 1、下载国内的pause镜像
docker pull registry.cn-hangzhou.aliyuncs.com/google-containers/pause-amd64:3.0
# 2、设置tag默认的仓库和版本好地址。
docker tag registry.cn-hangzhou.aliyuncs.com/google-containers/pause-amd64:3.0 gcr.io/google_containers/pause-amd64:3.0
# 工作节点:查看docker镜像
docker images
registry.cn-hangzhou.aliyuncs.com/google-containers/pause-amd64 3.0 99e59f495ffa 2 years ago 747kB
3、工作节点:部署国内镜像
curl -sSL https://get.daocloud.io/daotools/set_mirror.sh | sh -s http://04be47cf.m.daocloud.io
4、重启镜像
systemctl restart docker
5、查看切换地址
cat /etc/docker/daemon.json
{"registry-mirrors": ["http://04be47cf.m.daocloud.io"]}
来源:oschina
链接:https://my.oschina.net/u/4412687/blog/3742657