Prometheus Alert介绍

Prometheus Alert是开源的运维告警中心消息转发系统

(图片可点击放大查看)
支持主流的监控系统Prometheus,Zabbix,日志系统Graylog和数据可视化系统Grafana发出的预警消息,
支持钉钉,微信,华为云短信,腾讯云短信,腾讯云电话,阿里云短信,阿里云电话等
https://github.com/feiyu563/PrometheusAlert
https://feiyu563.github.io

(图片可点击放大查看)

下面介绍如何在GrayLog中使用Prometheus Alert实现钉钉群机器人自动告警

1、下载Linux版本的Prometheus Alert

https://github.com/feiyu563/PrometheusAlert/releases/download/v4.6.1/linux.zip

(图片可点击放大查看)

2、上传PrometheusAlert到/opt目录下解压

unzip linux.zip
mv linux PrometheusAlert
cd PrometheusAlert
ll -trh
chmod 755 PrometheusAlert

(图片可点击放大查看)

(图片可点击放大查看)

3、修改PrometheusAlert配置文件conf/app.conf

(图片可点击放大查看)
如下几项进行修改

#登录用户名
loginuser=admin
#登录密码
login_password=prometheusalert
#监听端口_
httpport = 8089

(图片可点击放大查看)
并修改钉钉webhook机器人的URL

(图片可点击放大查看)

4、启动PrometheusAlert并登录其Web管理界面

cd /opt/PrometheusAlert
./PrometheusAlert

(图片可点击放大查看)
若要后台运行的话

cd /opt/PrometheusAlert
nohup ./PrometheusAlert &

(图片可点击放大查看)
登录Web管理界面
http://192.168.31.232:8089/

(图片可点击放大查看)
测试钉钉告警

(图片可点击放大查看)

(图片可点击放大查看)

(图片可点击放大查看)

5、GrayLog3-dd钉钉告警模板保存及修改

找到告警模版管理中GrayLog3-dd钉钉告警模板

(图片可点击放大查看)

(图片可点击放大查看)
可以进行自定义修改并保存

(图片可点击放大查看)

(图片可点击放大查看)

6、登录Graylog配置HTTP告警

http://192.168.31.232:8089/prometheusalert?type=dd&tpl=graylog3-dd&ddurl=钉钉机器人地址&at=18888888888

替换成实际钉钉机器人地址URL和手机号

(图片可点击放大查看)
可以先进行测试
测试截图

(图片可点击放大查看)

7、配置事件告警并测试

可以参考之前的文章 【实践】GrayLog4.2使用webhook成功推送日志告警到钉钉群机器人

(图片可点击放大查看)

(图片可点击放大查看)

(图片可点击放大查看)

(图片可点击放大查看)

(图片可点击放大查看)

8、触发告警并验证效果

例如触发SSH暴力破解告警
watch -n 2 “hydra -l root -p Admin123 192.168.31.127 ssh”

(图片可点击放大查看)

(图片可点击放大查看)
测试效果如下