之前的hdfs磁盘使用率达到80%~100%,新加磁盘,对集群进行Balancer,各个节点数据总量确实得到均衡,但是各个磁盘数据并没有想象中均匀分布,新磁盘的数据很少,大部分数据还是分布在老磁盘上,查看方式:
df -hl
查阅文档,Balancer均衡属于节点级别的均衡,他不管节点下磁盘的数据分布,所以想要磁盘数据进行均衡就需要使用磁盘均衡器disbalancer,具体步骤如下:
1、集群启用disbalancer均衡
1、创建均衡任务并生成计划任务配置文件
hdfs diskbalancer -plan 节点名
2、查看配资文件
hdfs dfs -ls /system/diskbalancer/2019-Jan-14-21-14-13
3、启用均衡任务
hdfs diskbalancer -execute /system/diskbalancer/2019-Jan-14-21-14-13/hadoop.plan.json
4、查看状态
hdfs diskbalancer -query hadoop:50020