067. Docker 容器监控

1. 容器监控方案选择

对于容器的监控方案可谓多种多样，本身自带 docker stats 命令，Scout，Data Dog，Sysdig Cloud，Sensu Monitoring Framework，CAdvisor 等。
通过 docker stats 命令可以很方便地看到当前宿主机上所有容器的 CPU、内存以及网络流量等数据。但是 docker stats 命令的缺点就是统计的只是当前宿主机的所有容器，而获取的监控数据是实时的，没有地方存储，也没有报警功能。
而 Scout、Sysdig Cloud、Data Dog 虽然都提供了较完善的服务，但是它们都是托管的服务而且都收费，Sensu Monitoring Framework 集成度较高，也免费，但是部署过于复杂。综合考虑，选择 CAdvisor 做容器监控工具。
CAdvisor 谷歌出品，优点是开源产品，监控指标齐全，部署方便，而且有官方的 Docker 镜像。缺点是集成度不高，默认只在本地保存 2 分钟数据。不过可以加上 InfluxDB 存储数据，对接 Grafana 展示图表，比较顺利地搭建好了容器监控系统，数据收集和图表展示效果良好，对系统性能也几乎没有什么影响。

2. CAdvisor

CAdvisor 是一个容器资源监控工具，包括容器的内存、CPU、网络 IO、磁盘 IO 等监控，同时提供了一个 WEB 页面用于查看容器的实时运行状态。CAdvisor 默认存储了 2 分钟的数据，而且只是针对单物理机。不过 CAdvisor 提供了很多数据集成接口，支持 InfluxDB、Redis、Kafka、Elasticsearch 等集成，可以加上对应配置将数据发往这些数据库存储起来。
CAdvisor 功能主要有两点：
- 展示 Host 和容器两个层次的监控数据。
- 展示历史变化数据。

3. InfluxDB

InfluxDB 是用 Go 语言编写的一个开源分布式时序、事件和指标数据库，无需外部依赖。
CAdvisor 默认只在本地保存最近 2 分钟的数据，为了持久化存储数据和统一收集展示监控数据，需要将数据存储到 InfluxDB 中。InfluxDB 是一个时序数据库，专门用于存储时序相关的数据，很适合存储 CAdvisor 的数据。而且，CAdvisor 本身已经提供了 InfluxDB 的继承方法，在启动容器时指定配置即可。

InfluxDB 的主要功能

基于时间序列，支持与时间有关的相关函数（如最大、最小、求和等）。
可度量性：你可以实时对大量数据进行计算。
基于事件：它支持任意的事件数据。

InfluxDB 的主要特点

无结构（无模式）。
可以是任意数量的列。
可扩展的。
支持 min、max、sum、count、mean、median 等一系列函数，方便统计。
原生 HTTP 支持，内置 HTTP API。
强大的类 SQL 语法。
自带管理界面，方便使用。

4. Grafana

Grafana 是一个开源的数据监控分析可视化平台，支持多种数据源配置（支持的数据源包括 InfluxDB、MySQL、Elasticsearch、OpenTSDB、Graphite 等）和丰富的插件及模板功能，支持图权限控制和报警。

Grafana 主要特性；

灵活丰富的图形化选项。
可以混合多种风格。
支持白天和夜间模式。
多个数据源。

5. CAdvisor + InfluxDB + Grafana

CAdvisor：负责收集容器的随时间变化的数据。
InfluxDB：负责存储时序数据。
Grafana：负责分析和展示时序数据。

6. 安装部署

1. 部署 InfluxDB 服务

docker 安装
```
docker run -d --name influxdb -p 8086:8086 -v /data/influxdb:/var/lib/influxdb --hostname=influxdb influxdb
```
- --name：启动容器分配名字 influxdb。
- -p：映射端口，8083 端口为 influxdb 管理端口，8086 是 influxdb 的数据端口。
- -v：挂载数据。
- -d：后台运行此容器。
- influxdb：通过这个容器来运行的，默认会在 Docker 官方仓库 pull 下来。
浏览器访问 influxdb 的管理端，http://ip:8083

创建 test 数据库与 root 用户，这个用于后期配 grafana。

docker exec -it influxdb influx

CREATE DATABASE "test"
CREATE USER "root" WITH PASSWORD 'root' WITH ALL PRIVILEGES

2. 部署 CAdvisor 服务

谷歌的 cadvisor 可以用于手机 Docker 容器的时序信息，包括容器运行过程中的资源使用情况和性能数据。
```
docker run --volume=/:/rootfs:ro --volume=/var/run:/var/run:ro --volume=/sys:/sys:ro --volume=/var/lib/docker:/var/lib/docker:ro --volume=/dev/disk:/dev/disk:ro --vloume /cgroup:/cgroup:ro
--publish=8080:8080 --detach=true --privileged=true --name=cadvisor google/cadvisor:latest -storage_driver=influxdb -storage_driver_host=influxdb:8086 -storage_driver_db=test -storage_driver_user=root -storage_driver_password=root
```
- -d：后台运行此容器。
- --name：启动容器分配名字 cadvisor。
- -p：映射端口 8080。
- --mount：把宿主机的相关目录绑定到容器中，这些目录都是 cadvisor 需要埃及的目录文件和监控内容。
- -storage_driver：需要指定 cadvisor 的存储驱动、数据库主机、数据库名。
访问：http://ip:8080

3. 部署 Grafana 服务

grafana 一款开源的时序数据分析工具，而且界面专业易用。
```
docker run -d -p 3000:3000 -v /data/grafana:/var/lib/grafana --link=influxdb:influxdb --name grafana grafana/grafana
```
- 注意：如果使用 -v 把数据挂载出来会出现容器启动失败，错误为 mkdir: cannot create directory '/var/lib/grafana/plugins': Permission denied，此时可以使用 docker run --entrypoint "id" grafana/grafana 得到 uid，gid，groups（默认是 472）。
- 接着使用 chown -R 472:472 /data/grafana/ 修改目录权限就可以启动成功了。
访问：http://ip:3000 ，默认用户名密码为 admin/admin。

7. docker-compose 快速部署

version: '3.1'

volumes:
  grafana_data: {}

services:
 influxdb:
  image: tutum/influxdb:0.9
  #image: tutum/influxdb
  #image: influxdb
  restart: always
  #user: 
  environment:
    - PRE_CREATE_DB=cadvisor
  ports:
    - "8083:8083"
    - "8086:8086"
  expose:
    - "8090"
    - "8099"
  volumes:
    - ./data/influxdb:/data

 cadvisor:
  #image: google/cadvisor:v0.29.0
  image: google/cadvisor
  links:
    - influxdb:influxsrv
  command: -storage_driver=influxdb -storage_driver_db=cadvisor -storage_driver_host=influxsrv:8086
  restart: always
  ports:
    - "8080:8080"
  volumes:
    - /:/rootfs:ro
    - /var/run:/var/run:rw
    - /sys:/sys:ro
    - /var/lib/docker/:/var/lib/docker:ro

 grafana:
  #image: grafana/grafana:2.6.0
  user: "104"
  image: grafana/grafana
  user: "104"
  #user: "472"
  restart: always
  links:
    - influxdb:influxsrv
  ports:
    - "3000:3000"
  volumes:
    - grafana_data:/var/lib/grafana
  environment:
    - HTTP_USER=admin
    - HTTP_PASS=admin
    - INFLUXDB_HOST=influxsrv
    - INFLUXDB_PORT=8086
    - INFLUXDB_NAME=cadvisor
    - INFLUXDB_USER=root
    - INFLUXDB_PASS=root

来源：oschina

链接：https://my.oschina.net/u/3142084/blog/4573090

标签

InfluxDB

grafana

cadvisor