参考

Ingest Pipelines

引入管道

引入管道允许您在编制索引之前对数据执行常见转换。例如，可以使用管道删除字段、从文本中提取值以及丰富数据。
管道由一系列称为处理器的可配置任务组成。每个处理器按顺序运行，对传入的文档进行特定更改。处理器运行后，弹性搜索会将转换后的文档添加到您的数据流或索引中。
ES之引入管道(Ingest Pipelines) - 图1
您可以使用 Kibana 的采集管道功能或采集 API 创建和管理采集管道。弹性搜索将管道存储在集群状态。

先决条件

  • 具有引入节点角色的节点处理管道处理。若要使用引入管道，群集必须至少有一个具有该角色的节点。对于繁重的摄取负载，我们建议创建专用的摄取节点。ingest
  • 如果启用了 Elasticsearch 安全功能，您必须具有集群权限才能管理引入管道。要使用 Kibana 的引入管道功能，您还需要集群权限。manage_pipelinecluster:monitor/nodes/info

  • 包括处理器在内的管道需要额外的设置。请参阅丰富数据。enrich

    创建和管理管道

    在 Kibana 中，打开主菜单，然后单击堆栈管理>引入管道。在列表视图中，您可以：

  • 查看管道列表并深入了解详细信息

  • 编辑或克隆现有管道
  • 删除管道

image.png
若要创建管道，请单击“创建管道>新建管道”。有关示例教程，请参阅示例：解析日志。