目的

  1. 测试采集组件与 dk对原有系统的影响:

  2. 比较各个插件影响的性能差异
    3. 给算法制造负样本与标签, 创造算法实验环境

    测试对象:

    初始使用 k8s ruoyi 环境; 迭代后可使用 otel 多语言微服务环境.
    观测云预发环境
    3 台 4c8g, 16G 内存的 ecs 组成的 k8s

    Test cases:

    case 1:
    无埋点 的 qps, errorrate, p90, cpu 和内存使用率, 作为 benchmark 基线
    case 2:
    埋 otel, otel-col, 不断加 qps, 查看ote-col, cpu 内存,磁盘,网络, errorate, p90 的反应.
    case 3:
    埋 skywalking, datakit, 不断加 qps, 查看dk, cpu 内存,磁盘,网络, errorate, p90 的反应.
    case 4:
    埋 ddtrace, datakit 不断加 qps, 查看dk, cpu 内存,磁盘,网络, errorate, p90 的反应.
    case 5:
    埋 loki, 不断加 qps, 查看 cpu 内存,磁盘,网络, errorate, p90 的反应.
    case 6:
    埋 datakit 收日志, 不断加 qps, 查看 cpu 内存,磁盘,网络, errorate, p90 的反应.
    case 7:
    埋 datakit +pipeline 收并处理日志, 不断加 qps, 查看 cpu 内存,磁盘,网络, errorate, p90 的反应.

    参考benchmark 链接

    https://github.com/VictoriaMetrics/prometheus-benchmark
    https://github.com/SkyAPMTest/Agent-Benchmarks
    https://ddtrace.readthedocs.io/en/stable/benchmarks.html
    https://github.com/observatorium/loki-benchmarks
    https://elasticsearch-benchmarks.elastic.co/
    https://clickhouse.com/docs/en/operations/utilities/clickhouse-benchmark/