在namenode的hadoop配置文件中/path/etc/hadoop/
新建个文件
touch dfs.hosts
在这个文件中,添加主机名称(包含新节点)
master
slave1
slave2
在namenode的hdfs-site.xml配置文件中增加dfs.hosts属性
<property>
<name>dfs.hosts</name>
<value>/path/etc/hadoop/dfs.hosts</value>
</property>
刷新namenode
hdfs dfsadmin -refreshNodes
更新resourceManager节点
yarn rmadmin -refreshNodes
在namenode的slaves文件中增加新主机名称(增加slave2)
master
slave1
slave2
单独命令启动新的数据节点和节点管理器
hadoop-daemon.sh start datanode
yarn-daemon.sh start nodemanager
可以执行负载均衡下,把一些块分配到这里
start-balancer.sh
平衡阈值: 单个节点使用率与整个集群使用率之间的差值.默认为10,大于此值才会进行数据块重新分配
web页面中datanode information中