之前的hdfs磁盘使用率达到80%~100%,新加磁盘,对集群进行Balancer,各个节点数据总量确实得到均衡,但是各个磁盘数据并没有想象中均匀分布,新磁盘的数据很少,大部分数据还是分布在老磁盘上,查看方式:

    1. df -hl

    查阅文档,Balancer均衡属于节点级别的均衡,他不管节点下磁盘的数据分布,所以想要磁盘数据进行均衡就需要使用磁盘均衡器disbalancer,具体步骤如下:
    1、集群启用disbalancer均衡
    image.png
    1、创建均衡任务并生成计划任务配置文件
    hdfs diskbalancer -plan 节点名
    2、查看配资文件
    hdfs dfs -ls /system/diskbalancer/2019-Jan-14-21-14-13
    3、启用均衡任务
    hdfs diskbalancer -execute /system/diskbalancer/2019-Jan-14-21-14-13/hadoop.plan.json
    4、查看状态
    hdfs diskbalancer -query hadoop:50020