Hadoop HDFS 迁移

一、块和节点

1. 同一个节点，不同磁盘迁移块

  1. 方法 一: 复制
  2.   1. 下线该 datanode 节点, 对节点做 Decommissioned 退役操作 (一个节点一个节点操作)
  3.   2. 复制磁盘数据 -> 到新磁盘中
  4.   3. 修改 hdfs-site.xml 配置
  5.     dfs.data.dir, dfs.datanode.data.dir  修改成新的磁盘
  6.   4. 上线该 datanode 节点, 重启集群
  9. 方法 二: 利用 HDFS 集群机制
  10.   1. 下线该 datanode 节点, 对节点做 Decommissioned 退役操作 (一个节点一个节点操作)
  11.   2. 停止 hbase, hbase 依赖 hdfs
  12.   3. 修改 hdfs-site.xml 配置
  13.     dfs.data.dir, dfs.datanode.data.dir  修改成新的磁盘
  14.   4. 上线该 datanode 节点, 重启集群
  15.   5. 检查块信息
  16.     hdfs fsck / | egrep -v '^\.+$' | grep -v eplica
  17.   6. 重新生成副本
  18.     hdfs dfs -setrep -w 3 文件地址
  19.     hdfs dfs -setrep -w 3 -R 目录地址
  20.   7. balancer 重新均衡数据
  21.     hdfs dfsadmin -setBalancerBandwidth 524288000
  22.     sudo -u hdfs hdfs balancer -threshold 5