Namenode 最重要的两个功能之一就是维护整个文件系统的目录树（即命名空间namesystem）。HDFS 文件系统的命名空间（namespace），也就是以“/”为根的整个目录树，是通过 FSDirectory 类来管理的。

FSNamesystem 也提供了管理目录树结构的方法，但 FSNamesystem 中的方法多是调用 FSDirectory 类的实现，FSNamesystem 在 FSDirectory 类方法的基础上添加了 editlog 日志记录的功能。而 FSDirectory 的操作则全部是在内存中进行的，并不进行editlog的日志记录

FSDirectory 的设计使用了门面（Facade）模式，门面模式是指提供一个统一的接口去访问多个子系统的多个不同的接口，它为子系统中的一组接口提供一个统一的高层接口，使得子系统更容易使用

构造方法

序号 参数 默认值 含义
1 dfs.permissions.enabled true 权限，默认开启
2 dfs.permissions.superusergroup supergroup 超级用户组
3 dfs.namenode.acls.enabled false 设置为true以启用对HDFS ACL（访问控制列表）的支持。 默认情况下，禁用ACL。 禁用ACL时，NameNode拒绝与设置或获取ACL相关的所有RPC
4 dfs.ls.limit 1000 限制ls打印的文件数量。如果小于或等于零，将最多打印DFS_LIST_LIMIT_DEFAULT（= 1000）
5 dfs.content-summary.limit 5000 一个锁定期内允许的最大内容摘要计数。 0或负数表示没有限制
6 dfs.content-summary.sleep-microsec 500 在内容摘要计算中重新获得锁定之间的使线程进入睡眠状态的时间长度（以微秒为单位）
7 dfs.namenode.fs-limits.max-component-length 255 定义路径的每个组件中以UTF-8编码的最大字节数。 值为0将禁用检查
8 dfs.namenode.fs-limits.max-directory-items 1024 * 1024 ≈100 万 定义目录可以包含的最大项数。无法将属性设置为小于1或大于6400000的值
9 dfs.namenode.fs-limits.max-xattrs-per-inode 32
10 final int MAX_DIR_ITEMS 64 100 1000= 640万 我们需要一个最大最大值，因为默认情况下，
PB将message大小限制为64MB。
这意味着每个目录只能存储大约670万个条目，
但是为了安全起见，请使用640万个条目
11 dfs.namenode.name.cache.threshold 10 经常访问的文件的访问次数超过此阈值的次数被缓存在FSDirectory nameCache中 
  1. FSDirectory(FSNamesystem ns, Configuration conf) throws IOException {
  2.     this.dirLock = new ReentrantReadWriteLock(true); // fair
  3.     this.inodeId = new INodeId();
  4.     rootDir = createRoot(ns);
  5.     inodeMap = INodeMap.newInstance(rootDir);
  7.     // 权限: 默认开启 ==> dfs.permissions.enabled : true
  8.     this.isPermissionEnabled = conf.getBoolean(
  9.         DFSConfigKeys.DFS_PERMISSIONS_ENABLED_KEY, 
  10.         DFSConfigKeys.DFS_PERMISSIONS_ENABLED_DEFAULT);
  12.     // dfs.permissions.ContentSummary.subAccess : false
  13.     this.isPermissionContentSummarySubAccess = conf.getBoolean(
  14.         DFSConfigKeys.DFS_PERMISSIONS_CONTENT_SUMMARY_SUBACCESS_KEY,
  15.         DFSConfigKeys.DFS_PERMISSIONS_CONTENT_SUMMARY_SUBACCESS_DEFAULT);
  17.     this.fsOwnerShortUserName =
  18.       UserGroupInformation.getCurrentUser().getShortUserName();
  20.     /// dfs.permissions.superusergroup  : supergroup
  21.     this.supergroup = conf.get(
  22.       DFSConfigKeys.DFS_PERMISSIONS_SUPERUSERGROUP_KEY,
  23.       DFSConfigKeys.DFS_PERMISSIONS_SUPERUSERGROUP_DEFAULT);
  25.     // dfs.namenode.acls.enabled : false
  26.     this.aclsEnabled = conf.getBoolean(
  27.         DFSConfigKeys.DFS_NAMENODE_ACLS_ENABLED_KEY,
  28.         DFSConfigKeys.DFS_NAMENODE_ACLS_ENABLED_DEFAULT);
  30.     LOG.info("ACLs enabled? " + aclsEnabled);
  31.     this.posixAclInheritanceEnabled = conf.getBoolean(
  32.         DFSConfigKeys.DFS_NAMENODE_POSIX_ACL_INHERITANCE_ENABLED_KEY,
  33.         DFSConfigKeys.DFS_NAMENODE_POSIX_ACL_INHERITANCE_ENABLED_DEFAULT);
  34.     LOG.info("POSIX ACL inheritance enabled? " + posixAclInheritanceEnabled);
  35.     this.xattrsEnabled = conf.getBoolean(
  36.         DFSConfigKeys.DFS_NAMENODE_XATTRS_ENABLED_KEY,
  37.         DFSConfigKeys.DFS_NAMENODE_XATTRS_ENABLED_DEFAULT);
  38.     LOG.info("XAttrs enabled? " + xattrsEnabled);
  39.     this.xattrMaxSize = conf.getInt(
  40.         DFSConfigKeys.DFS_NAMENODE_MAX_XATTR_SIZE_KEY,
  41.         DFSConfigKeys.DFS_NAMENODE_MAX_XATTR_SIZE_DEFAULT);
  42.     Preconditions.checkArgument(xattrMaxSize > 0,
  43.         "The maximum size of an xattr should be > 0: (%s).",
  44.         DFSConfigKeys.DFS_NAMENODE_MAX_XATTR_SIZE_KEY);
  45.     Preconditions.checkArgument(xattrMaxSize <=
  46.         DFSConfigKeys.DFS_NAMENODE_MAX_XATTR_SIZE_HARD_LIMIT,
  47.         "The maximum size of an xattr should be <= maximum size"
  48.         + " hard limit " + DFSConfigKeys.DFS_NAMENODE_MAX_XATTR_SIZE_HARD_LIMIT
  49.         + ": (%s).", DFSConfigKeys.DFS_NAMENODE_MAX_XATTR_SIZE_KEY);
  51.     this.accessTimePrecision = conf.getLong(
  52.         DFS_NAMENODE_ACCESSTIME_PRECISION_KEY,
  53.         DFS_NAMENODE_ACCESSTIME_PRECISION_DEFAULT);
  55.     //dfs.storage.policy.enabled : true
  56.     this.storagePolicyEnabled =
  57.         conf.getBoolean(DFS_STORAGE_POLICY_ENABLED_KEY,
  58.                         DFS_STORAGE_POLICY_ENABLED_DEFAULT);
  60.     this.quotaByStorageTypeEnabled =
  61.         conf.getBoolean(DFS_QUOTA_BY_STORAGETYPE_ENABLED_KEY,
  62.                         DFS_QUOTA_BY_STORAGETYPE_ENABLED_DEFAULT);
  64.     // dfs.ls.limit : 1000
  65.     int configuredLimit = conf.getInt(
  66.         DFSConfigKeys.DFS_LIST_LIMIT, DFSConfigKeys.DFS_LIST_LIMIT_DEFAULT);
  68.     this.lsLimit = configuredLimit>0 ?
  69.         configuredLimit : DFSConfigKeys.DFS_LIST_LIMIT_DEFAULT;
  71.     // dfs.content-summary.limit : 5000
  72.     this.contentCountLimit = conf.getInt(
  73.         DFSConfigKeys.DFS_CONTENT_SUMMARY_LIMIT_KEY,
  74.         DFSConfigKeys.DFS_CONTENT_SUMMARY_LIMIT_DEFAULT);
  76.     //dfs.content-summary.sleep-microsec 500
  77.     this.contentSleepMicroSec = conf.getLong(
  78.         DFSConfigKeys.DFS_CONTENT_SUMMARY_SLEEP_MICROSEC_KEY,
  79.         DFSConfigKeys.DFS_CONTENT_SUMMARY_SLEEP_MICROSEC_DEFAULT);
  81.     // filesystem limits
  82.     // 路径最大长度: dfs.namenode.fs-limits.max-component-length : 255
  83.     this.maxComponentLength = conf.getInt(
  84.         DFSConfigKeys.DFS_NAMENODE_MAX_COMPONENT_LENGTH_KEY,
  85.         DFSConfigKeys.DFS_NAMENODE_MAX_COMPONENT_LENGTH_DEFAULT);
  87.     // 目录最大数量 1024 * 1024 = 1048576  ≈ 100 万
  88.     // dfs.namenode.fs-limits.max-directory-items :  1024 * 1024
  89.     this.maxDirItems = conf.getInt(
  90.         DFSConfigKeys.DFS_NAMENODE_MAX_DIRECTORY_ITEMS_KEY,
  91.         DFSConfigKeys.DFS_NAMENODE_MAX_DIRECTORY_ITEMS_DEFAULT);
  94.     // dfs.namenode.fs-limits.max-xattrs-per-inod: 32
  95.     // inode的属性最大限制 32
  96.     this.inodeXAttrsLimit = conf.getInt(
  97.         DFSConfigKeys.DFS_NAMENODE_MAX_XATTRS_PER_INODE_KEY,
  98.         DFSConfigKeys.DFS_NAMENODE_MAX_XATTRS_PER_INODE_DEFAULT);
  100.     this.protectedDirectories = parseProtectedDirectories(conf);
  102.     Preconditions.checkArgument(this.inodeXAttrsLimit >= 0,
  103.         "Cannot set a negative limit on the number of xattrs per inode (%s).",
  104.         DFSConfigKeys.DFS_NAMENODE_MAX_XATTRS_PER_INODE_KEY);
  106.     // 我们需要一个最大最大值，因为默认情况下，
  107.     // PB将message大小限制为64MB。
  108.     // 这意味着每个目录只能存储大约670万个条目，
  109.     // 但是为了安全起见，请使用640万个条目。
  110.     final int MAX_DIR_ITEMS = 64 * 100 * 1000;
  111.     Preconditions.checkArgument(
  112.         maxDirItems > 0 && maxDirItems <= MAX_DIR_ITEMS, "Cannot set "
  113.             + DFSConfigKeys.DFS_NAMENODE_MAX_DIRECTORY_ITEMS_KEY
  114.             + " to a value less than 1 or greater than " + MAX_DIR_ITEMS);
  117.     // dfs.namenode.name.cache.threshold: 10
  118.     // 经常访问的文件的访问次数超过此阈值的次数被缓存在FSDirectory nameCache中。
  119.     int threshold = conf.getInt(
  120.         DFSConfigKeys.DFS_NAMENODE_NAME_CACHE_THRESHOLD_KEY,
  121.         DFSConfigKeys.DFS_NAMENODE_NAME_CACHE_THRESHOLD_DEFAULT);
  122.     NameNode.LOG.info("Caching file names occurring more than " + threshold
  123.         + " times");
  125.     nameCache = new NameCache<ByteArray>(threshold);
  126.     namesystem = ns;
  127.     this.editLog = ns.getEditLog();
  128.     ezManager = new EncryptionZoneManager(this, conf);
  130.     this.quotaInitThreads = conf.getInt(
  131.         DFSConfigKeys.DFS_NAMENODE_QUOTA_INIT_THREADS_KEY,
  132.         DFSConfigKeys.DFS_NAMENODE_QUOTA_INIT_THREADS_DEFAULT);
  134.     initUsersToBypassExtProvider(conf);
  135.   }

常量

  • INodeDirectory rootDir：整个文件系统目录树的根节点，是 INodeDirectory 类型的
  • FSNamesystem namesystem：Namenode 的门面类，这个类主要支持对数据块进行操作的一些方法，例如addBlock()
  • INodeMap inodeMap：记录根目录下所有的 INode，并维护 INodeId 到 INode 的映射关系
  • ReentrantReadWriteLock dirLock：对目录树以及 inodeMap 字段操作的锁
  • NameCache nameCache：将常用的 name 缓存下来，以降低 byte[] 的使用，并降低JVM heap的使用