项目指标
2021.9.9
- dataquery 9111 问财240环境 单日请求 1亿 28台 集群 qps 1158
- datacore 240环境 指标查询 单日 3.8亿 35台
- datacache 单日 请求4100w 三台
2022.1.10
- dataquery 9111 问财240环境 单日请求 1亿 32台 集群 流出峰值 4M/s 单台 流入 38Mib
- datacore 240环境 指标查询 单日 3.9亿 40台 9点半 流量 流出峰值 30M/s 单台 流入4.7Mib
- datacache 单日 请求4700w 5台 流出3.5M/s 单台 流入4.7Mib单台
2022.5.9
- dataquery 9111 问财240环境 单日请求 8700w 40台 集群 流出峰值 4M/s 单台 流入 33Mib
- datacore 240环境 指标查询 单日 3.7亿 50台 9点半 流量 流出峰值 30M/s 单台 流入5.7Mib
- datacache 单日 请求5000w 5台 流出3.5M/s 单台 流入4.7Mib单台
2022.5.12
- dataquery 8250w
2022.5.16
- dataquery 7900w
- datacache 4500w
2022.6.27
- datacache 7700w request_time 0.007
2022.7.27
智能缓存上线第一天
- datacache 总请求1.23亿 平均耗时4ms
- datacache cond 请求4240w 平均耗时3ms
- datacache cache query 请求7140w 平均耗时5ms
2022.8.18
智能缓存上线第一天
- datacache 总请求1亿 平均耗时4ms
- datacache cond 请求3574w 平均耗时3ms
- datacache cache query 请求6915w 平均耗时5ms
2022.11.02
智能缓存
- datacache 总请求1.22亿 平均耗时4ms
- datacache cond 请求4827w 平均耗时2ms
- datacache cache query 请求7415w 平均耗时5ms
数据指标
2021.9.9
- mongo 总数据 1005g 35亿条 3000个表
| 日期 | 容器部署环境 | 服务每日请求量 | 服务的峰值qps | 峰值时间点 | 机器数 | 单台qps | 峰值负载时间 | 峰值负载(去除最大值) | 9:26qps | 全天平均耗时 | p95 | p99 | 缓存命中率 |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 20211223(周四) | 240 | 9737w | 3842 | 9:32:42 | 32 | 120 | 9:26 - 9:32 | 3.77 | 2873 | ||||
| 20211230(周四) | 240 | 9793w | 2701 | 10:13:42 | 32 | 84 | 9:26 - 9:29 | 3.99 | 2319 | ||||
| 20220106(周四) | 240 | 9542w | 3498 | 10:02:23 | 32 | 109 | 9:26 - 9:29 | 4.58 | 2606 | ||||
| 20220223(周三) | 240 | 9580w | 3408 | 9:40:31 | 32 | 107 | 9:26 - 9:29 | 5.1 | 2693 | ||||
| 20220628(周二) | 240 | 1亿 | 40 | 6 | 取数 88.6 | 282 | 611 | ||||||
| 20220627(周一) | 240 | 1.18亿 | 5 | 取数 76.6 | 257 | 526 | |||||||
| 20220727(周三) 智能缓存上线第一天 | 240 | 1.08亿 盘中9-4.30 4700w |
44 | 3 | 9111整体 82 cond 52 盘中85 cond 46 9100 整体 52 |
262 | 542 | 所有缓存命中 60% hotcond 46% 盘中 54% hotcond 47% |
|||||
| 20220817(缓存上线半个月) | 240 | 1.05亿 | 3.2 | 整体平均耗时89 cond 58 盘中 93 cond 49 9100 condition 耗时 56 |
所有缓存命中57% hotcond 45% 盘中38% hotcond 37% |
||||||||
| 20221102 | 240 | 1.22亿 | 44 | 3.1 | 整体平均耗时74 cond 58 盘中 73 cond 39 9100 condition 耗时 50 |
缓存命中率42% |
- 缓存命中率
- hot cond 220509 灰度单台top100 命中率 3.7% 184w, cache 缓存命中率 18%
- hot cond 220512 灰度单台top150 命中率 5% 184w, 早高峰 命中率在 10% 下午在 12%
- hot cond 220518 灰度单台top150 命中率 5.3% 177w, 早高峰9.30 到 10点10 命中率在 13% 下午1点到3点在 10%
- 情况综述
- 目前缓存命中率整体效果一般
- 在盘中尤其是峰值是有较好的效果，在空闲时间命中率比较低
- 上面这个情况还是乐观的，缓存最初的效果也是抗峰流，平时较低可能是结果页互动的页面较少且无规律，top聚集不起来
指标平台
请求行情
20220825
20220906
- 总请求3.9亿
- 总缓存命中率61.1%
- cmd 为 ontology backtestzip backtestmongo 请求有2.2亿，缓存命中率59% 平均耗时 10.26ms
- cmd 为 ontology backtestzip backtestmongo redis rediszip redisdetails (非 hq hqvalue memory)请求有3..46亿，缓存命中率58.4% 平均耗时 8.5ms
- CPU峰值再9点26到5H左右，经常存在某两天CPU飙高被限制，GC不正常请求耗时增加
- 20G的堆 docker 使用在21G左右
- daemon线程在1k左右
若有收获，就点个赞吧
0 人点赞
