Prometheus 自动发现

泄露秘密 提交于 2019-11-26 14:00:55

简介

在实际的配置中,经常会遇到增加或者减少监控主机的状况,如果每次都需要修改prometheus.yml配置文件,实在是太麻烦了。

此时就需要配置自动发现,而prometheus只是很多种的自动发现

支持:

  • 基于公有云
  • 基于私有云
  • 基于文件,file的自动发现
  • 基于DNS 的自动发现,分为SRV解析自动发现和A记录解析的自动发现

........等等,有很多类型,本文中介绍基于静态文件 和 DNS 的自动发现

环境说明

增加一台 10.0.20.12 node_export 主机及DNS使用的是bind9

如需bind9 文档,点击这里是bind9文档

以下的所有演示都是案例,可根据自己的情况做变更。

静态配置

简单讲解下直接修改prometheus.yml主配置文件中的静态配置。

修改配置如下:

[root@es01 config]# cat prometheus.yml
global:
  scrape_interval:     15s
  evaluation_interval: 15s
alerting:
  alertmanagers:
  - static_configs:
    - targets:

rule_files:

scrape_configs:
  - job_name: 'prometheus'
    static_configs:
    - targets: ['localhost:9090']

  - job_name: 'node'                # 增加一个节点,取名为 node
    metrics_path: '/metrics'        # 获取数据的路径 http://10.0.20.12:9100/metrics
    static_configs:
    - targets: ['10.0.20.12:9100']  # 静态配置 node 节点的地址

重新加载配置文件

检查配置文件,并重新加载

# 检查配置文件
[root@es01 config]# /opt/prometheus-2.14/bin/promtool check config /opt/prometheus-2.14/config/prometheus.yml
Checking /opt/prometheus-2.14/config/prometheus.yml
  SUCCESS: 0 rule files found

# 重新加载配置文件
[root@es01 config]# curl -X POST httP://10.0.20.11:9090/-/reload
[root@es01 config]# 

再次访问效果如下

基于文件发现配置

创建对应的目录

[root@es01 config]# pwd
/opt/prometheus-2.14/config
# 创建targets目录,并且创建对应的子目录,用于存放相应的配置文件自动发现
[root@es01 config]# mkdir targets/{docker,nodes}
[root@es01 config]# ls targets/
docker  nodes

在创建好的nodes目录下创建 nodes.json文件,并写入下面内容

[root@es01 config]# cat targets/nodes/nodes.json 
[{
  "targets": [
    "10.0.20.12:9100"           # 指定node_export链接地址
  ],
  "labels": {
    "server": "node_export01"   # 添加一个标签
  }
}]

修改配置文件如下:

[root@es01 config]# cat prometheus.yml
global:
  scrape_interval:     15s
  evaluation_interval: 15s
alerting:
  alertmanagers:
  - static_configs:
    - targets:

rule_files:

scrape_configs:
  - job_name: 'prometheus'
    static_configs:             # 这个配置表示 静态发现
    - targets: ['localhost:9090']

  - job_name: 'node'            # 增加一个节点,取名为 node
    metrics_path: "/metrics"    # 获取数据的路径 http://10.0.20.12:9100/metrics
    file_sd_configs:            # 这个配置表示通过文件发现
    - files:
      - targets/nodes/*.json    # 读取目录下的所有json结尾的文件
      refresh_interval: 1m      # 刷新频率,1 分钟

重新加载配置文件

检查配置文件,并重新加载

# 检查配置文件
[root@es01 config]# /opt/prometheus-2.14/bin/promtool check config /opt/prometheus-2.14/config/prometheus.yml
Checking /opt/prometheus-2.14/config/prometheus.yml
  SUCCESS: 0 rule files found

# 重新加载配置文件
[root@es01 config]# curl -X POST httP://10.0.20.11:9090/-/reload
[root@es01 config]# 

可以看到,获取到了主机监控,并且能看到增加标签

添加主机测试

在配置文件 targets/nodes/nodes.json 中添加一台主机。

在前面的文档中,prometheus 主机也部署了node_export ,这里添加测试

[{
  "targets": [
    "10.0.20.11:9100",
    "10.0.20.12:9100"
  ],
  "labels": {
    "server": "node_export01"
  }
}]

当编辑文件 targets/nodes/nodes.json 后保存,再次访问页面时,新增加的主机已经自动加入

简单总结: 定义好对应的主配置文件prometheus.yml后,后续要添加新的node节点监控进来,只需要增加node.json内容即可,也不需要重载prometheus服务,相对比较简单的基于文件的自动发现。

基于DNS的A记录

首先要在内网DNS上添加A记录解析:

[root@es01 config]# nslookup es01.k8s.com
Server:     192.168.1.122
Address:    192.168.1.122#53

Name:   es01.k8s.com
Address: 10.0.20.11         # 解析后的地址

[root@es01 config]# nslookup es02.k8s.com
Server:     192.168.1.122
Address:    192.168.1.122#53

Name:   es02.k8s.com
Address: 10.0.20.12         # 解析后的地址

这里添加了两条A记录

修改配置文件

[root@es01 config]# cat prometheus.yml
global:
  scrape_interval:     15s
  evaluation_interval: 15s
alerting:
  alertmanagers:
  - static_configs:
    - targets:

rule_files:

scrape_configs:
  - job_name: 'prometheus'
    static_configs:
    - targets: ['localhost:9090']

  - job_name: 'node-A'                  # 名称
    metrics_path: "/metrics"            # 获取数据的路径 http://10.0.20.12:9100/metrics
    dns_sd_configs:
    - names: ["es01.k8s.com", "es02.k8s.com"]   # 这里填写A记录
      type: A                                   # 解析类型 A记录
      port: 9100                                # 端口

重新加载配置文件

检查配置文件,并重新加载

# 检查配置文件
[root@es01 config]# /opt/prometheus-2.14/bin/promtool check config /opt/prometheus-2.14/config/prometheus.yml
Checking /opt/prometheus-2.14/config/prometheus.yml
  SUCCESS: 0 rule files found

# 重新加载配置文件
[root@es01 config]# curl -X POST httP://10.0.20.11:9090/-/reload
[root@es01 config]# 

通过上图可以看出添加成功。

基于DNS的SRV记录自动发现

需要在DNS中添加SRV解析记录,下面演示在bind9中添加后测试

首先要在内网DNS上添加A记录解析:

[root@es01 config]# nslookup es01.k8s.com
Server:     192.168.1.122
Address:    192.168.1.122#53

Name:   es01.k8s.com
Address: 10.0.20.11         # 解析后的地址

然后添加SRV记录:

[root@bind named]# cat k8s.com.zone
es01    IN      A       10.0.20.11
_prometheus._tcp.k8s.com.       IN      SRV     10      10      9100    es01

上述是在bind中添加的对应的A记录和SRV记录

解析SRV记录测试

[root@es01 config]# dig @192.168.1.122 +noall +answer SRV _prometheus._tcp.k8s.com 
_prometheus._tcp.k8s.com. 86400 IN  SRV 10 10 9100 es01.k8s.com.

能够解析到上述内容,则表示SRV记录添加正常

注意,先添加es01,之后测试添加SRV后,prometheus能否动态添加进监控

修改配置文件

[root@es01 config]# cat prometheus.yml
global:
  scrape_interval:     15s
  evaluation_interval: 15s
alerting:
  alertmanagers:
  - static_configs:
    - targets:

rule_files:

scrape_configs:
  - job_name: 'prometheus'
    static_configs:
    - targets: ['localhost:9090']

  - job_name: 'node_srv'                # 名称
    metrics_path: "/metrics"            # 获取数据的路径 http://10.0.20.12:9100/metrics
    dns_sd_configs:                     # 配置使用DNS解析
    - names: ['_prometheus._tcp.k8s.com']   # 配置SRV对应的解析地址

重新加载配置文件

检查配置文件,并重新加载

# 检查配置文件
[root@es01 config]# /opt/prometheus-2.14/bin/promtool check config /opt/prometheus-2.14/config/prometheus.yml
Checking /opt/prometheus-2.14/config/prometheus.yml
  SUCCESS: 0 rule files found

# 重新加载配置文件
[root@es01 config]# curl -X POST httP://10.0.20.11:9090/-/reload
[root@es01 config]# 

动态添加解析测试

上面通过SRV已经可以监控了,这里再次测试下,添加一条SRV记录后,prometheus是否能够自动添加

添加记录并测试

首先要在内网DNS上添加A记录解析:

[root@es01 config]# nslookup es01.k8s.com
Server:     192.168.1.122
Address:    192.168.1.122#53

Name:   es01.k8s.com
Address: 10.0.20.11         # 解析后的地址

[root@es01 config]# nslookup es02.k8s.com
Server:     192.168.1.122
Address:    192.168.1.122#53

Name:   es02.k8s.com
Address: 10.0.20.12         # 解析后的地址

然后添加SRV记录:

[root@bind named]# cat k8s.com.zone
es01    IN      A       10.0.20.11
es02    IN      A       10.0.20.12
_prometheus._tcp.k8s.com.       IN      SRV     10      10      9100    es01
_prometheus._tcp.k8s.com.       IN      SRV     10      10      9100    es02

上述是在bind中添加的对应的A记录和SRV记录

解析SRV记录测试

[root@es01 config]# dig @192.168.1.122 +noall +answer SRV _prometheus._tcp.k8s.com
_prometheus._tcp.k8s.com. 86400 IN  SRV 10 10 9100 es01.k8s.com.
_prometheus._tcp.k8s.com. 86400 IN  SRV 10 10 9100 es02.k8s.com.

添加SRV解析成功后访问测试:

上图中展示,已自动添加成功。

易学教程内所有资源均来自网络或用户发布的内容,如有违反法律规定的内容欢迎反馈
该文章没有解决你所遇到的问题?点击提问,说说你的问题,让更多的人一起探讨吧!