时间序列索引

特点—索引中的数据随着时间持续不断增长
好处

  • 管理简单,例如完整删除一个索引,性能比delete by query好

挑战

  • 如何进行自动化管理,减少人工操作
  • 从Hot到warm
  • 定期关闭或者删除索引

    时间序列索引常见的生命阶段

    image.png
    Hot:索引还存在着大量的读写操作
    Warm:索引不存在写操作,还有被查查询的需要
    Cold:数据不存在写操作,读操作也不多
    Delete:索引不在需要,可以被安全删除

    官方工具

    curator—基于Python的命令行工具
    配置Action—内置10多种index相关的操作,每个动作可以顺序执行
    Filters—支持各种条件,筛选出相关的索引

    eBay Lifecycle Management Tool

    eBay Pronto team自研图形化工具

  • 支持curator功能,一个节点管理多个ES集群

  • 支持不同ES版本
  • 支持图形化配置
  • Job定时触发
  • 系统高可用

image.png

Index Lifecycle Management

Elasticsearch 6.6推出的新功能—基于X-Pack Basic License可免费使用
ILM概念

  • policy
  • phase
  • action

ILM policy

  • 支持定义多个policy
  • 每个索引可以使用相同或不同的poliyc

image.png
Elasticsearch索引生命周期管理探索