sbin/hadoop-daemon.sh start|stop namenode|datanode|journalnode
// 查看整个hdfs的健康情况
hdfs dfsadmin -report
// 安全模式
hdfs dfsadmin -safemode <enter | leave | get | wait>
// 加-incremental这个参数就是增量report,不加就是全量report
hdfs dfsadmin datanode1:50020
// 动态刷新dfs.hosts和dfs.hosts.exclude配置,无需重启NameNode
hdfs dfsadmin -refreshNodes
// 不要再NN上执行 而是找比较空闲的机器。均衡数据,各节点磁盘利用率相差不超过10%
sbin/start-balancer.sh -threshold 10
// 停止均衡,要在一台空闲的机器上进行均衡操作.看差不多了要手动停止均衡
sbin/stop-balancer.sh
或者
hdfs diskbalancer -plan hadoop103 # 生成均衡计划
hdfs diskbalancer -execute hadoop103.plan.json # 执行均衡计划
hdfs diskbalancer -query hadoop103 # 查看执行状况
hdfs diskbalancer -cancel hadoop103.plan.json # 取消均衡任务
# 坏块修复(三块没全坏的情况下) 要指定到具体文件test.txt
hdfs debug recoverLease -path /usr/test/test.txt -retries 3
hdfs fsck /usr/test #之前有一个坏块现在好了
# 递归显示文件
hadoop fs -lsr /
# 文件夹下子文件的大小
hadoop fs -du -h /dir
# 整个文件夹的大小
hadoop fs -du -s -h /dir
#合并hdfs小文件到本地
hadoop fs -getmerge <src> <localdst>
#查看指定目录的hdfs数据情况
hdfs fsck /ukafka_bk/access_log/access_log_201812201850.data -files -blocks -locations -racks
#执行命令将某目录下数据副本改为3
hadoop fs -setrep -w 3 -R /user/root/.staging/job_1533802638740_625882/libjars/commons-math3-3.1.1.jar
#列出所有坏块
su - hadoop
hdfs fsck -list-corruptfileblocks
#清理垃圾桶
hadoop fs -du -h
Hadoop fs -rm -R .Trash/*
或者 hadoop fs -expunge
#恢复删除的文件 垃圾桶
hadoop fs -mv /user/xxx/.Trash/Current/tmp/wanglei/sqoopl/* /tmp/wanglei/sqoopl