目标

• 边界防护 ETL 2W EPS
• 终端防护 ETL 40W EPS
• 达成敏感数据 ETL 1W EPS
• 达成 MetaData ETL 30W EPS

  瓶颈点

1. 终端防护，既有写 ES、又写 HDFS，所以瓶颈点在 HDFS、ES中间件。
2. Metadata 数据只写 HDFS，所以瓶颈点在 HDFS。

对于华为云来说，数据都是走内网连接，基本都是 10gbe网卡，网络基本不会出现瓶颈，而 ES和 HDFS写入性能瓶颈基本点基本是物理存储磁盘性能。

ES 压测性能

HDFS 压测性能

Flink ETL 黑盒 EPS

性能优化

FlinkETLTask 代码优化

ES 优化

HDFS 优化

工具