概述

Kubernetes自从2012年开源以来便以不可阻挡之势成为容器领域调度和编排的领头羊，Kubernetes是Google Borg系统的开源实现，于此对应Prometheus则是Google BorgMon的开源实现。Prometheus是由SoundCloud开发的开源监控报警系统和时序列数据库。从字面上理解，Prometheus由两个部分组成，一个是监控报警系统，另一个是自带的时序数据库（TSDB）。2016年，由Google发起的Linux基金会旗下的原生云基金会（Cloud Native Computing Foundation）将Prometheus纳入其第二大开源项目。Prometheus在开源社区也十分活跃，在GitHub上拥有两万多Star，并且系统每隔一两周就会有一个小版本的更新，而Prometheus与它的“师兄”Kubernetes都自带云原生的光环，天然能够友好协作。

时间序列数据

什么是序列数据

时间序列数据(TimeSeries Data) : 按照时间顺序记录系统、设备状态变化 的数据被称为时序数据。
应用的场景很多, 如：

  • 无人驾驶车辆运行中要记录的经度，纬度，速度，方向，旁边物体的距 离等等。每时每刻都要将数据记录下来做分析。
  • 某一个地区的各车辆的行驶轨迹数据
  • 传统证券行业实时交易数据

  • 实时运维监控数据等

    时间序列数据特点

  • 性能好

关系型数据库对于大规模数据的处理性能糟糕。NOSQL可以比较好的处理 大规模数据，让依然比不上时间序列数据库。

  • 存储成本低

高效的压缩算法，节省存储空间，有效降低IO
Prometheus有着非常高效的时间序列数据存储方法，每个采样数据仅仅占 用3.5byte左右空间，上百万条时间序列，30秒间隔，保留60天，大概花了 200多G（来自官方数据)

Prometheus的主要特征

  • 多维度数据模型
  • 灵活的查询语言
  • 不依赖分布式存储，单个服务器节点是自主的
  • 以HTTP方式，通过pull模型拉去时间序列数据
  • 也可以通过中间网关支持push模型
  • 通过服务发现或者静态配置，来发现目标服务对象
  • 支持多种多样的图表和界面展示

    架构设计

简介 - 图1

Prometheus 架构图如上：

  • Prometheus Server：核心组件，用于收集、存储监控数据。它同时支持静态配置和通过 Service Discovery 动态发现来管理监控目标，并从监控目标中获取数据。
    此外，Prometheus Server 也是一个时序数据库，它将监控数据保存在本地磁盘中，并对外提供自定义的 PromQL 语言实现对数据的查询和分析。
  • Exporter：用来采集数据，作用类似于 Agent，区别在于 Prometheus 是基于 Pull 方式拉取采集数据的。
    因此，Exporter 通过 HTTP 服务的形式将监控数据按照标准格式暴露给 Prometheus Server，社区中已经有大量现成的 Exporter 可以直接使用，用户也可以使用各种语言的 client library 自定义实现。
  • Push gateway：主要用于瞬时任务的场景，防止 Prometheus Server 来 Pull 数据之前此类 Short-lived jobs 就已经执行完毕了，因此 Job 可以采用 Push 的方式将监控数据主动汇报给 Push gateway 缓存起来进行中转。
  • Alert Manager：当告警产生时，Prometheus Server 将告警信息推送给 Alert Manager，由它发送告警信息给接收方。

  • Web UI：Prometheus 内置了一个简单的 Web 控制台，可以查询配置信息和指标等，而实际应用中我们通常会将 Prometheus 作为 Grafana 的数据源，创建仪表盘以及查看指标。

    Prometheus 的优势：

  • 轻量管理：架构简单，不依赖外部存储，单个服务器节点可直接工作，二进制文件启动即可，属于轻量级的 Server，便于迁移和维护。

  • 较强的处理能力：监控数据直接存储在 Prometheus Server 本地的时序数据库中，单个实例可以处理数百万的 Metrics。
  • 灵活的数据模型：同 Open-Falcon，引入了 Tag，属于多维数据模型，聚合统计更方便。
  • 强大的查询语句：PromQL 允许在同一个查询语句中，对多个 Metrics 进行加法、连接和取分位值等操作。
  • 很好地支持云环境：能自动发现容器，同时 K8s 和 Etcd 等项目都提供了对 Prometheus 的原生支持，是目前容器监控最流行的方案。

  • 告警方式：邮件+企业微信

    Prometheus 的劣势：

  • 功能不够完善：Prometheus 从一开始的架构设计就是要做到简单，不提供长期的持久化存储和用户管理，而这些是企业变大后所必须的特性，目前要做到这些只能在 Prometheus 之上进行扩展。

  • 网络规划变复杂：由于 Prometheus 采用的是 Pull 模型拉取数据，意味着所有被监控的 Endpoint 必须是可达的，需要合理规划网络的安全配置。

    总结

  • prometheus 优点

    1. 一款新型的监控开源软件，越来越成熟
    2. 对接容器、微服务和与k8s原生云应用比zabbix有优势
    3. 基于目前我们需求，对硬件cpu/内存/网络等监控可以满足
    4. 使用时序数据库性能优秀
    5. zabbix更合适物理机，prometheus 更合适云应用
    6. 社区潮流，新系统一般都用prometheus
  • prometheus 缺点
    1. 社区成熟度、文档不如zabbix，硬件服务器监控方面不如老牌zabbix强大
    2. 配置稍微复杂，入手难度高，但后期使用成本低