什么是Prometheus?

Prometheus是由SoundCloud开发的开源监控报警系统和时序列数据库(TSDB)。Prometheus使用Go语言开发，是Google BorgMon监控系统的开源版本。
2016年由Google发起Linux基金会旗下的原生云基金会(Cloud Native Computing Foundation), 将Prometheus纳入其下第二大开源项目。
Prometheus目前在开源社区相当活跃。
Prometheus和Heapster(Heapster是K8S的一个子项目，用于获取集群的性能数据。)相比功能更完善、更全面。Prometheus性能也足够支撑上万台规模的集群。

Prometheus的特点

  • 多维度数据模型。
  • 灵活的查询语言。
  • 不依赖分布式存储，单个服务器节点是自主的。
  • 通过基于HTTP的pull方式采集时序数据。
  • 可以通过中间网关进行时序列数据推送。
  • 通过服务发现或者静态配置来发现目标服务对象。
  • 支持多种多样的图表和界面展示，比如Grafana等。

官网地址：https://prometheus.io/

架构图

从零搭建Prometheus监控报警系统 - 图1
从零搭建Prometheus监控报警系统 - 图2

基本原理

Prometheus的基本原理是通过HTTP协议周期性抓取被监控组件的状态，任意组件只要提供对应的HTTP接口就可以接入监控。不需要任何SDK或者其他的集成过程。这样做非常适合做虚拟化环境监控系统，比如VM、Docker、Kubernetes等。输出被监控组件信息的HTTP接口被叫做exporter 。目前互联网公司常用的组件大部分都有exporter可以直接使用，比如Varnish、Haproxy、Nginx、MySQL、Linux系统信息(包括磁盘、内存、CPU、网络等等)。

服务过程

  • Prometheus Daemon负责定时去目标上抓取metrics(指标)数据，每个抓取目标需要暴露一个http服务的接口给它定时抓取。Prometheus支持通过配置文件、文本文件、Zookeeper、Consul、DNS SRV Lookup等方式指定抓取目标。Prometheus采用PULL的方式进行监控，即服务器可以直接通过目标PULL数据或者间接地通过中间网关来Push数据。
  • Prometheus在本地存储抓取的所有数据，并通过一定规则进行清理和整理数据，并把得到的结果存储到新的时间序列中。
  • Prometheus通过PromQL和其他API可视化地展示收集的数据。Prometheus支持很多方式的图表可视化，例如Grafana、自带的Promdash以及自身提供的模版引擎等等。Prometheus还提供HTTP API的查询方式，自定义所需要的输出。
  • PushGateway支持Client主动推送metrics到PushGateway，而Prometheus只是定时去Gateway上抓取数据。

  • Alertmanager是独立于Prometheus的一个组件，可以支持Prometheus的查询语句，提供十分灵活的报警方式。

    三大套件

  • Server 主要负责数据采集和存储，提供PromQL查询语言的支持。

  • Alertmanager 警告管理器，用来进行报警。

  • Push Gateway 支持临时性Job主动推送指标的中间网关。

    本飞猪教程内容简介

  • 1.演示安装Prometheus Server

  • 2.演示通过golang和node-exporter提供metrics接口
  • 3.演示pushgateway的使用
  • 4.演示grafana的使用

  • 5.演示alertmanager的使用

    安装准备

    这里我的服务器IP是10.211.55.25，登入，建立相应文件夹

    1. mkdir -p /home/chenqionghe/promethues
    2. mkdir -p /home/chenqionghe/promethues/server
    3. mkdir -p /home/chenqionghe/promethues/client
    4. touch /home/chenqionghe/promethues/server/rules.yml
    5. chmod 777 /home/chenqionghe/promethues/server/rules.yml

    下面开始三大套件的学习

    一.安装Prometheus Server

    通过docker方式
    首先创建一个配置文件/home/chenqionghe/test/prometheus/prometheus.yml
    挂载之前需要改变文件权限为777，要不会引起修改宿主机上的文件内容不同步的问题

    1. global:
    2. scrape_interval:     15s # 默认抓取间隔, 15秒向目标抓取一次数据。
    3. external_labels:
    4.   monitor: 'codelab-monitor'
    5. # 这里表示抓取对象的配置
    6. scrape_configs:
    7.   #这个配置是表示在这个配置内的时间序例，每一条都会自动添加上这个{job_name:"prometheus"}的标签  - job_name: 'prometheus'
    8.   scrape_interval: 5s # 重写了全局抓取间隔时间，由15秒重写成5秒
    9.   static_configs:
    10.     - targets: ['localhost:9090']

    运行

    1. docker rm -f prometheus
    2. docker run --name=prometheus -d \
    3. -p 9090:9090 \
    4. -v /home/chenqionghe/promethues/server/prometheus.yml:/etc/prometheus/prometheus.yml \
    5. -v /home/chenqionghe/promethues/server/rules.yml:/etc/prometheus/rules.yml \
    6. prom/prometheus:v2.7.2 \
    7. --config.file=/etc/prometheus/prometheus.yml \
    8. --web.enable-lifecycle

    启动时加上—web.enable-lifecycle启用远程热加载配置文件
    调用指令是curl -X POST http://localhost:9090/-/reload
    访问http://10.211.55.25:9090
    我们会看到如下l界面
    从零搭建Prometheus监控报警系统 - 图3
    访问http://10.211.55.25:9090/metrics
    从零搭建Prometheus监控报警系统 - 图4
    我们配置了9090端口，默认prometheus会抓取自己的/metrics接口
    在Graph选项已经可以看到监控的数据
    从零搭建Prometheus监控报警系统 - 图5

    二.安装客户端提供metrics接口

    1.通过golang客户端提供metrics

    1. mkdir -p /home/chenqionghe/promethues/client/golang/src
    2. cd !$
    3. export GOPATH=/home/chenqionghe/promethues/client/golang/
    4. #克隆项目
    5. git clone https://github.com/prometheus/client_golang.git
    6. #安装需要翻墙的第三方包
    7. mkdir -p $GOPATH/src/golang.org/x/
    8. cd !$
    9. git clone https://github.com/golang/net.git
    10. git clone https://github.com/golang/sys.git
    11. git clone https://github.com/golang/tools.git
    12. #安装必要软件包
    13. go get -u -v github.com/prometheus/client_golang/prometheus
    14. #编译
    15. cd $GOPATH/src/client_golang/examples/random
    16. go build -o random main.go

    运行3个示例metrics接口

    1. ./random -listen-address=:8080 &
    2. ./random -listen-address=:8081 &
    3. ./random -listen-address=:8082 &

    2.通过node exporter提供metrics

    1. docker run -d \
    2. --name=node-exporter \
    3. -p 9100:9100 \
    4. prom/node-exporter

    然后把这两些接口再次配置到prometheus.yml, 重新载入配置curl -X POST http://localhost:9090/-/reload

    1. global:
    2. scrape_interval:     15s # 默认抓取间隔, 15秒向目标抓取一次数据。
    3. external_labels:
    4.   monitor: 'codelab-monitor'
    5. rule_files:
    6. #- 'prometheus.rules'
    7. # 这里表示抓取对象的配置
    8. scrape_configs:
    9. #这个配置是表示在这个配置内的时间序例，每一条都会自动添加上这个{job_name:"prometheus"}的标签  - job_name: 'prometheus'
    10. - job_name: 'prometheus'
    11.   scrape_interval: 5s # 重写了全局抓取间隔时间，由15秒重写成5秒
    12.   static_configs:
    13.     - targets: ['localhost:9090']
    14.     - targets: ['http://10.211.55.25:8080', 'http://10.211.55.25:8081','http://10.211.55.25:8082']
    15.       labels:
    16.         group: 'client-golang'
    17.     - targets: ['http://10.211.55.25:9100']
    18.       labels:
    19.         group: 'client-node-exporter'

    可以看到接口都生效了
    从零搭建Prometheus监控报警系统 - 图6
    prometheus还提供了各种exporter工具，感兴趣小伙伴可以去研究一下

    三.安装pushgateway

    pushgateway是为了允许临时作业和批处理作业向普罗米修斯公开他们的指标。
    由于这类作业的存在时间可能不够长, 无法抓取到, 因此它们可以将指标推送到推网关中。
    Prometheus采集数据是用的pull也就是拉模型，这从我们刚才设置的5秒参数就能看出来。但是有些数据并不适合采用这样的方式，对这样的数据可以使用Push Gateway服务。
    它就相当于一个缓存，当数据采集完成之后，就上传到这里，由Prometheus稍后再pull过来。
    我们来试一下，首先启动Push Gateway

    1. mkdir -p /home/chenqionghe/promethues/pushgateway
    2. cd !$
    3. docker run -d -p 9091:9091 --name pushgateway prom/pushgateway

    访问http://10.211.55.25:9091 可以看到pushgateway已经运行起来了
    从零搭建Prometheus监控报警系统 - 图7
    接下来我们就可以往pushgateway推送数据了，prometheus提供了多种语言的sdk，最简单的方式就是通过shell

  • 推送一个指标

    1. echo "cqh_metric 100" | curl --data-binary @- http://ubuntu-linux:9091/metrics/job/cqh

  • 推送多个指标

    1. cat <<EOF | curl --data-binary @- http://10.211.55.25:9091/metrics/job/cqh/instance/test
    2. # 锻炼场所价格
    3. muscle_metric{label="gym"} 8800
    4. # 三大项数据 kg
    5. bench_press 100
    6. dead_lift 160
    7. deep_squal 160
    8. EOF

    然后我们再将pushgateway配置到prometheus.yml里边,重载配置
    看到已经可以搜索出刚刚推送的指标了
    从零搭建Prometheus监控报警系统 - 图8

    四.安装Grafana展示

    Grafana是用于可视化大型测量数据的开源程序，它提供了强大和优雅的方式去创建、共享、浏览数据。
    Dashboard中显示了你不同metric数据源中的数据。
    Grafana最常用于因特网基础设施和应用分析，但在其他领域也有用到，比如：工业传感器、家庭自动化、过程控制等等。
    Grafana支持热插拔控制面板和可扩展的数据源，目前已经支持Graphite、InfluxDB、OpenTSDB、Elasticsearch、Prometheus等。
    我们使用docker安装

    1. docker run -d -p 3000:3000 --name grafana grafana/grafana

    默认登录账户和密码都是admin，进入后界面如下
    从零搭建Prometheus监控报警系统 - 图9
    我们添加一个数据源
    从零搭建Prometheus监控报警系统 - 图10
    把Prometheus的地址填上
    从零搭建Prometheus监控报警系统 - 图11
    导入prometheus的模板
    从零搭建Prometheus监控报警系统 - 图12
    打开左上角选择已经导入的模板会看到已经有各种图
    从零搭建Prometheus监控报警系统 - 图13
    我们来添加一个自己的图表
    从零搭建Prometheus监控报警系统 - 图14
    从零搭建Prometheus监控报警系统 - 图15
    从零搭建Prometheus监控报警系统 - 图16
    指定自己想看的指标和关键字，右上角保存
    从零搭建Prometheus监控报警系统 - 图17
    看到如下数据
    从零搭建Prometheus监控报警系统 - 图18
    到这里我们就已经实现了数据的自动收集和展示，下面来说下prometheus如何自动报警

    五.安装AlterManager

    Pormetheus的警告由独立的两部分组成。
    Prometheus服务中的警告规则发送警告到Alertmanager。
    然后这个Alertmanager管理这些警告。包括silencing, inhibition, aggregation，以及通过一些方法发送通知，例如：email，PagerDuty和HipChat。
    建立警告和通知的主要步骤：

  • 创建和配置Alertmanager

  • 启动Prometheus服务时，通过-alertmanager.url标志配置Alermanager地址，以便Prometheus服务能和Alertmanager建立连接。

创建和配置Alertmanager

  1. mkdir -p /home/chenqionghe/promethues/alertmanager
  2. cd !$

创建配置文件alertmanager.yml

  1. global:
  2.   resolve_timeout: 5m
  3. route:
  4.   group_by: ['cqh']
  5.   group_wait: 10s #组报警等待时间
  6.   group_interval: 10s #组报警间隔时间
  7.   repeat_interval: 1m #重复报警间隔时间
  8.   receiver: 'web.hook'
  9. receivers:
  10.   - name: 'web.hook'
  11.     webhook_configs:
  12.       - url: 'http://10.211.55.2:8888/open/test'
  13. inhibit_rules:
  14.   - source_match:
  15.       severity: 'critical'
  16.     target_match:
  17.       severity: 'warning'
  18.     equal: ['alertname', 'dev', 'instance']

这里配置成了web.hook的方式，当server通知alertmanager会自动调用webhook http://10.211.55.2:8888/open/test
下面运行altermanager

  1. docker rm -f alertmanager
  2. docker run -d -p 9093:9093 \
  3. --name alertmanager \
  4. -v /home/chenqionghe/promethues/alertmanager/alertmanager.yml:/etc/alertmanager/alertmanager.yml \
  5. prom/alertmanager

访问http://10.211.55.25:9093
从零搭建Prometheus监控报警系统 - 图19
接下来修改Server端配置报警规则和altermanager地址
修改规则/home/chenqionghe/promethues/server/rules.yml

  1. groups:
  2.   - name: cqh
  3.     rules:
  4.       - alert: cqh测试
  5.         expr: dead_lift > 150
  6.         for: 1m
  7.         labels:
  8.           status: warning
  9.         annotations:
  10.           summary: "{{$labels.instance}}:硬拉超标！lightweight baby!!!"
  11.           description: "{{$labels.instance}}:硬拉超标！lightweight baby!!!"

这条规则的意思是，硬拉超过150公斤，持续一分钟，就报警通知
然后再修改prometheus添加altermanager配置

  1. global:
  2.   scrape_interval:     15s # 默认抓取间隔, 15秒向目标抓取一次数据。
  3.   external_labels:
  4.     monitor: 'codelab-monitor'
  5. rule_files:
  6.   - /etc/prometheus/rules.yml
  7. # 这里表示抓取对象的配置
  8. scrape_configs:
  9.   #这个配置是表示在这个配置内的时间序例，每一条都会自动添加上这个{job_name:"prometheus"}的标签  - job_name: 'prometheus'
  10.   - job_name: 'prometheus'
  11.     scrape_interval: 5s # 重写了全局抓取间隔时间，由15秒重写成5秒
  12.     static_configs:
  13.       - targets: ['localhost:9090']
  14.       - targets: ['10.211.55.25:8080', '10.211.55.25:8081','10.211.55.25:8082']
  15.         labels:
  16.           group: 'client-golang'
  17.       - targets: ['10.211.55.25:9100']
  18.         labels:
  19.           group: 'client-node-exporter'
  20.       - targets: ['10.211.55.25:9091']
  21.         labels:
  22.           group: 'pushgateway'
  23. alerting:
  24.   alertmanagers:
  25.     - static_configs:
  26.         - targets: ["10.211.55.25:9093"]

重载prometheus配置，规则就已经生效
接下来我们观察grafana中数据的变化
从零搭建Prometheus监控报警系统 - 图20
然后我们点击prometheus的Alert模块，会看到已经由绿->黄-红，触发了报警
从零搭建Prometheus监控报警系统 - 图21
从零搭建Prometheus监控报警系统 - 图22
从零搭建Prometheus监控报警系统 - 图23
然后我们再来看看提供的webhook接口，这里的接口我是用的golang写的，接到数据后将body内容报警到钉钉
从零搭建Prometheus监控报警系统 - 图24
钉钉收到报警内容如下
从零搭建Prometheus监控报警系统 - 图25
到这里，从零开始搭建Prometheus实现自动监控报警就说介绍完了，一条龙服务，自动抓取接口+自动报警+优雅的图表展示，你还在等什么，赶紧high起来！