Docker

新一代大数据工作流调度 - Apache DolphinScheduler(incubator) 今天发布了 1.3.5 官方 Docker 镜像。 在社区伙伴 chengshiwen 的努力下, 1.3.5 版本的 Docker 镜像大约只有 1.3.4 版本的 1/2 , 现在只有大约 220M 啦，奥利给！ 下面就带大家来 快速使用 DolphinScheduler 官方推荐以 docker-compose 的方式启动，这种方式需要先安装 docker-compose , docker-compose 的安装网上已经有非常多的资料，请自行安装即可。 1、下载源码 zip 包 - 请下载最新版本的源码包并进行解压 # 创建源码存放目录 mkdir -p /opt/soft/dolphinscheduler; cd /opt/soft/dolphinscheduler; # 下载源码包 wget https://mirrors.tuna.tsinghua.edu.cn/apache/incubator/dolphinscheduler/1.3.5/apache-dolphinscheduler-incubating-1.3.5-src.zip # 解压缩 tar -zxvf apache-dolphinscheduler-incubating-1.3.5-src.zip mv

Portainer是一个轻量级的Docker环境管理UI，可以管理docker host和docker swarm(我主要看中了能管理swarm这个，毕竟市面上能管理swarm的平台不多)。之所以说是轻量级的，是因为部署只有一个container，也可以使用二进制程序直接部署，不像rancher的部署，部署了一大堆container，而且portainer是跨平台的，windows和linux都可以部署，废话不多说，直接开干.... 环境 ubuntu16.04-1 swarm manager portainer ubuntu16.04-2 swarm works portainer agent ubuntu16.04-3 swarm works portainer agent ps：环境还是之前文章的swarm集群环境 部署 独立容器启动 docker run -d -p 9000:9000 --name portainer --restart always -v /var/run/docker.sock:/var/run/docker.sock -v /path/on/host/data:/data portainer/portainer ps：portainer的数据存储在容器内部的/data目录，这样容器重启的时候数据会丢失，所以要确保数据持久化 docker run -d

一 安装DOCKER 1 配置源 cd /etc/yum.repos.d wget https://download.docker.com/linux/centos/docker-ce.repo 2 安装 docker-ce yum install docker-ce -y systemctl start docker systemctl enable docker 二 安装 Zzbbix 1 启动一个空的MySQL服务器实例 docker run --name mysql-server -t --restart=always \ -e MYSQL_DATABASE="zabbix" \ -e MYSQL_USER="zabbix" \ -e MYSQL_PASSWORD="zabbix_pwd" \ -e MYSQL_ROOT_PASSWORD="root_pwd" \ -d mysql:5.7 \ --character-set-server=utf8 --collation-server=utf8_bin 2 启动Zabbix Java gateway实例 docker run --name zabbix-java-gateway -t --restart=always \ -d zabbix/zabbix-java-gateway:latest 3 启动Zabbix

相关资料： 　　Sonatype Nexus3官方网站： https://www.sonatype.com/download-oss-sonatype 　　Sonatype Nexus3 Docker Hub地址： https://hub.docker.com/r/sonatype/nexus3/ 　　Sonatype Nexus3一些介绍及使用： https://yeasy.gitbooks.io/docker_practice/repository/nexus3_registry.html 　　本文参考文章： https://www.cnblogs.com/holdengong/archive/2019/09/05/11468290.html , https://blog.csdn.net/supertor/article/details/83146596 ⒈安装Docker（必要条件） 　　请参考 https://www.cnblogs.com/fanqisoft/p/10439620.html 安装Docker ⒉安装Nexus3仓储 　　1.拉取sonatype/nexus3镜像 docker pull sonatype/nexus3 　　2.启动容器 docker run -d --name nexus3 --restart=always -p 5000 : 5000

存储跟踪数据 Zipkin Server默认时间追踪数据信息保存到内存，这种方式不适合生产环境。因为一旦Service关闭重 启或者服务崩溃，就会导致历史数据消失。Zipkin支持将追踪数据持久化到mysql数据库或者存储到 elasticsearch中。这里已mysql为例。 准备数据库 可以从官网找到Zipkin Server持久mysql的数据库脚本。 CREATE TABLE IF NOT EXISTS zipkin_spans ( `trace_id_high` BIGINT NOT NULL DEFAULT 0 COMMENT ' If non zero, this means the trace uses 128 bit traceIds instead of 64 bit ' , `trace_id` BIGINT NOT NULL , `id` BIGINT NOT NULL , `name` VARCHAR ( 255 ) NOT NULL , `remote_service_name` VARCHAR ( 255 ), `parent_id` BIGINT , `debug` BIT ( 1 ), `start_ts` BIGINT COMMENT ' Span.timestamp(): epoch micros used for endTs query

参考资料： 官方文档 一、虚拟机安装 配置说明： windows下使用vbox，centos17.6 min版，kubernetes的版本是1.14.1, 安装如下三台机器： 192.168.56.15 k15 192.168.56.16 k16 192.168.56.17 k17 其中k15作为master，k16和k17作为node，虚拟机的安装重点关注网卡设置，设置两个网卡，第一个网卡（ifcfg-enp0s3）Host Only模式，第二个网卡（ifcfg-enp0s8）NAT模式，参见下图 二、虚拟机基本设置 本章节三台机器都执行，这里以k15为例 1.配置hostname hostnamectl --static set-hostname k15 2. 网卡设置 红色字体部分是需要修改和新增的配置 #网卡1 Local Bridge vi /etc/sysconfig/network-scripts/ifcfg- enp0s3 TYPE = Ethernet PROXY_METHOD = none BROWSER_ONLY = no BOOTPROTO = static DEFROUTE = yes IPV4_FAILURE_FATAL = no IPV6INIT = yes IPV6_AUTOCONF = yes IPV6_DEFROUTE = yes IPV6

部署Flannel网络 部署flannel网络需要执行以下步骤： 1）写入分配的子网段到etcd，供flanneld使用 2）下载二进制包 3）配置Flannel 4）systemd管理Flannel 5）配置Docker启动指定子网段 6）启动 第一步：下载flannel二进制包 wget https://github.com/coreos/flannel/releases/download/v0.9.1/flannel-v0.9.1-linux-amd64.tar.gz 第二步：解压flannel二进制包并且复制到其他节点 //解压二进制文件 tar -zxvf flannel-v0.9.1-linux-amd64.tar.gz //将可执行文件flanneld mk-docker-opts.sh复制发送到其他节点 scp flanneld mk-docker-opts.sh root@172.16.163.130:/opt/kubernetes/bin/ 第三步：写入分配的子网段到etcd，供flanneld使用 /opt/kubernetes/bin/etcdctl \ --ca-file=ca.pem --cert-file=server.pem --key-file=server-key.pem \ --endpoints="https://172.16.163.131