监控 - Prometheus - 《云原生-知识笔记》

1、文档内容
2、任务背景
3、任务要求
4、任务分析
5、Prometheus概述
6、Grafana可视化
- 6.1 Grafana连接Prometheus

Prometheus+Grafana讲义.pdf

1、文档内容

能够安装prometheus服务器
能够通过安装node_exporter监控远程linux
能够通过安装mysqld_exporter监控远程mysql数据库
能够安装grafana
能够在grafana添加prometheus数据源
能够在grafana添加监控cpu负载的图形
能够在grafana图形显示mysql监控数据
能够通过grafana+onealert实现报警

2、任务背景

XXX公司是一家电商网站，由于公司的业务快速发展，公司要求对现有机器进行业务监控，责成运维部门来实施这个项目。

3、任务要求

部署监控服务器，实现7x24实时监控
针对公司的业务及研发部门设计监控系统，对监控项和触发器拿出合理意见
做好问题预警机制，对可能出现的问题要及时告警并形成严格的处理机制
做好监控告警系统，要求可以实现告警分级

一级报警电话通知

二级报警微信通知

三级报警邮件通知

处理好公司服务器异地集中监控问题，K8S内部使用的监控系统就是普罗米修斯

4、任务分析

为什么要监控？

答: 实时收集数据，通过报警及时发现问题，及时处理。数据为优化也可以提供依据。

监控四要素：

监控对象 [主机状态服务资源页面，url]
用什么监控 [zabbix-server zabbix-agent] => 普罗米修斯监控
什么时间监控 [7x24 5x8]
报警给谁 [管理员]

项目选型：

mrtg (Multi Router Traffic Grapher)通过snmp协议得到设备的流量信息，并以包含PNG格式的图形的HTML文档方式显示给用户。
cacti (仙人掌) 用php语言实现的一个软件，它的主要功能是用snmp服务获取数据，然后用rrdtool储存和更新数据。官网地址: https://www.cacti.net/
ntop 官网地址: https://www.ntop.org/
nagios 能够跨平台,插件多,报警功能强大。官网地址: https://www.nagios.org/
centreon 底层使用的就是nagios。是一个nagios整合版软件。官网地址:https://www.centreon.com/
ganglia 设计用于测量数以千计的节点,资源消耗非常小。官网地址:http://ganglia.info/
open-falcon 小米发布的运维监控软件，高效率，高可用。时间较短，用户基数小。官网地址: http://open-falcon.org/
zabbix 跨平台，画图，多条件告警，多种API接口。使用基数特别大。官网地址: https://www.zabbix.com/
prometheus 基于时间序列的数值数据的容器监控解决方案。官网地址: https://prometheus.io/

综合分析：Prometheus比较适合公司的监控需求

5、Prometheus概述

Prometheus(由go语言(golang)开发)是一套开源的监控&报警&时间序列数据库的组合。适合监控docker容器。因为kubernetes(俗称k8s)的流行带动了prometheus的发展。

5.1 序列数据

时间序列数据(TimeSeries Data) ：按照时间顺序记录系统、设备状态变化的数据被称为时序数据。

应用的场景很多, 如：

无人驾驶车辆运行中要记录的经度，纬度，速度，方向，旁边物体的距离等等。每时每刻都要将数据记录下来做分析。
某一个地区的各车辆的行驶轨迹数据
传统证券行业实时交易数据
实时运维监控数据等

5.2 时间序列数据特点

性能好

关系型数据库对于大规模数据的处理性能糟糕。NOSQL可以比较好的处理大规模数据，让依然比不上时间序列数据库。

存储成本低

高效的压缩算法，节省存储空间，有效降低IO

Prometheus有着非常高效的时间序列数据存储方法，每个采样数据仅仅占用3.5byte左右空间，上百万条时间序列，30秒间隔，保留60天，大概花了200多G（来自官方数据)

5.3 Prometheus特征

多维度数据模型
灵活的查询语言
不依赖分布式存储，单个服务器节点是自主的
以HTTP方式，通过pull模型拉去时间序列数据
也可以通过中间网关支持push模型
通过服务发现或者静态配置，来发现目标服务对象
支持多种多样的图表和界面展示

5.4 架构图

Prometheus - 图1

5.5 环境搭建

组件	主机名/IP
Grafana	k8s-master1
Prometheus	k8s-master2
被监控主机	k8s-node1

确保关闭防火墙和selinux、时间同步

官网下载二进制版本，解压机用，无需编译

启动：

/usr/local/prometheus/prometheus —config.file=”/usr/local/prometheus/prometheus.yml” & 确认端口 lsof -i:9090

监控本机：

Status —》点Targets —》

监控数据：

http://PrometheusIP:9090/metrics

1）监控linux（node_exporter）

下载地址: https://prometheus.io/download/

tar xf node_exporter-0.16.0.linuxamd64.tar.gz -C /usr/local/
mv /usr/local/node_exporter-0.16.0.linuxamd64/ /usr/local/node_exporter
# 启动node_exporter组件
nohup /usr/local/node_exporter/node_exporter &
# 确认端口(9100)
lsof -i:9100

通过浏览器访问http://被监控端IP:9100/metrics就可以查看到node_exporter在被监控端收集的监控信息
prometheus服务器的配置文件里添加被监控机器的配置段

vi /usr/local/prometheus/prometheus.yml
...
- job_name: "k8s-node1"
    static_configs:
      - targets: ["192.168.6.22:9100"]
...

重启Prometheus服务

pkill prometheus

nohup /usr/local/prometheus/prometheus —config.file=”/usr/local/prometheus/prometheus.yml” &

2）监控mysql（mysqld_exporter）

# 授权
grant select,replication client,process ON *.* to 'mysql_monitor'@'localhost' identified by '123';
flush privileges;

注意:授权ip为localhost，因为不是prometheus服务器来直接找mysql获取数据，而是prometheus服务器找mysql_exporter,mysql_exporter再找mysql。所以这个localhost是指的mysql_exporter的IP

创建一个mariadb配置文件，写上连接的用户名与密码(和上面的授权的用户名和密码要对应

vi /usr/local/mysqld_exporter/.my.cnf
[client]
user=mysql_monitor
password=123
# 启动mysqld_exporter
nohup /usr/local/mysqld_exporter/mysqld_exporter --config.mycnf=/usr/local/mysqld_exporter/.my.cnf &
# 确认端口(9104)

prometheus服务器的配置文件里添加被监控机器的配置段

vi /usr/local/prometheus/prometheus.yml
...
- job_name: "mysql"
    static_configs:
      - targets: ["192.168.6.22:9104"]
...

6、Grafana可视化

Grafana是一个开源的度量分析和可视化工具，可以通过将采集的数据分析，查询，然后进行可视化的展示,并能实现报警。

官方网址: https://grafana.com/

6.1 Grafana连接Prometheus

官方下载rpm包安装

rpm -ivh xxx.rpm

systemctl start grafana-server

systemctl enable grafana-server

确认3000端口

默认用户名/密码：admin/admin

Grafana添加Prometheus数据源：