用户角色权限

hdfs中没有相关命令和接口去创建用户
hdfs系统中超级用户：是namenode进程的启动用户
hdfs权限也是自己控制，它来自于hdfs的超级用户

添加用户god（全部节点）

useradd god
passwd god

资源绑定用户god（全部节点）

chown -R god /opt/bigdata/hadoop-2.10.1
chown -R god /var/bigdata/hadoop

god用户启动服务

  • god用户需要SSH免密登录（god免密目录：/home/god/.ssh）

  • start-dfs.sh

    目录创建

    hdfs dfs -mkdir -p /user/god

    文件上传

    for i in seq 100000;do echo “hello hadoop $i” >>data.txt ;done
    hdfs dfs -D dfs.blocksize=1048576 -put data.txt

    小文件治理方案

    hdfs命令方式

    hadoop archive -archiveName myhar.har -p /tmp -r 3 th1 th2 /user/god
    hdfs dfs -ls -R /user/god/myhar.har
    hdfs dfs -ls -R har:///user/god/myhar.har

    sequenceFile方式

    需要Java编码，将文件合并成大文件，支持文件压缩

  • record压缩

  • block压缩
  • blocked压缩+压缩算法