一个RegionServer的合理情况下的存储数据量?
取决于RegionServer中Region的数量,以及region大小
- 通常较少的region数量可使群集运行的更加平稳,官方指出每个RegionServer大约100个regions的时候效果最好
- hbase.hregion.max.filesize 单个region的最大大小,大了就会split
- hbase.hregion.max.filesize不宜过大或过小,经过实战,生产高并发运行下,最佳大小5-10GB!
- 关闭某些重要场景的hbase表的major_compact!在非高峰期的时候再去调用major_compact,这样可以减少split的同时,显著提供集群的性能,吞吐量、非常有用。
官方文档给出的推荐:
regionserver上的region个数范围在20~200;
每个region的大小在10G~30G之间,比较符合实际。
配置:
regionSize的大小配置:hbase.hregion.max.filesize
单台regionserver上的数据量=hbase.hregion.max.filesize*region个数*3
100 10G 3 = 3T, 所以一般意义上,一个RegionServer所处理的数据,应该是小于10T的