在安装 hadoop 的时候，必须对 hdfs 的 Namenode 进行格式化操作。本文主要介绍格式化操作

格式化命令如下

  1. bin/hdfs namenode -format

入口

Namenode 的格式化操作是：org.apache.hadoop.hdfs.server.namenode.NameNode

  1. /**
  2.   */
  3. public static void main(String argv[]) throws Exception {
  4.     //参数校验
  5.     if (DFSUtil.parseHelpArgument(argv, NameNode.USAGE, System.out, true)) {
  6.         System.exit(0);
  7.     }
  9.     try {
  10.         StringUtils.startupShutdownMessage(NameNode.class, argv, LOG);
  12.         //调用createNameNode()方法创建NameNode对象
  13.         NameNode namenode = createNameNode(argv, null);
  15.         if (namenode != null) {
  16.             //等待Namenode RPC服务结束
  17.             namenode.join();
  18.         }
  19.     } catch (Throwable e) {
  20.         LOG.error("Failed to start namenode.", e);
  21.         //出现异常则直接退出执行
  22.         terminate(1, e);
  23.     }
  24. }

通过 main 入口的方法，我们可以知道接下来是调用 createNameNode 方法。然后根据传入的参数不同执行不同的代码片段。我们主要是看格式化操作，所以关注一下 FORMAT 这个代码片段就可以了

  1. public static NameNode createNameNode(String argv[], Configuration conf)
  2.       throws IOException {
  3.     LOG.info("createNameNode " + Arrays.asList(argv));
  5.     //构建配置文件
  6.     if (conf == null)
  7.         conf = new HdfsConfiguration();
  9.     // Parse out some generic args into Configuration.
  10.     GenericOptionsParser hParser = new GenericOptionsParser(conf, argv);
  11.     argv = hParser.getRemainingArgs();
  13.     // Parse the rest, NN specific args.
  14.     // 解析命令行的参数
  15.     StartupOption startOpt = parseArguments(argv);
  16.     if (startOpt == null) {
  17.         printUsage(System.err);
  18.         return null;
  19.     }
  20.     setStartupOption(conf, startOpt);
  22.     boolean aborted = false;
  24.     //根据启动选项调用对应的方法执行操作
  25.     switch (startOpt) {
  27.     //格式化当前Namenode， 调用format()方法执行格式化操作
  28.     case FORMAT:
  29.         aborted = format(conf, startOpt.getForceFormat(),
  30.             startOpt.getInteractiveFormat());
  31.         terminate(aborted ? 1 : 0);
  32.         return null; // avoid javac warning
  34.     case GENCLUSTERID:
  35.       // 代码略...
  37.     //回滚上一次升级， 调用doRollback()方法执行回滚操作。
  38.     case ROLLBACK:
  39.       // 代码略...
  41.     // 拷贝Active Namenode的最新命名空间数据到StandbyNamenode，
  42.     // 调用BootstrapStandby.run()方法执行操作
  43.     case BOOTSTRAPSTANDBY:
  44.      // 代码略...
  46.     //初始化editlog的共享存储空间， 并从Active
  47.     //Namenode中拷贝足够的editlog数据， 使得Standby节点能够顺利启动。 这里调用
  48.     //了静态方法initializeSharedEdits()执行操作
  49.     case INITIALIZESHAREDEDITS:
  50.       // 代码略...
  51.     case BACKUP:
  53.     //启动checkpoint节点， 也是直接构造BackupNode对象并返回。
  54.     case CHECKPOINT:
  55.       // 代码略...
  57.     //恢复损坏的元数据以及文件系统， 这里调用了doRecovery()方法执行操作
  58.     case RECOVER:
  59.       // 代码略...
  61.     //确认配置文件夹存在， 并且打印fsimage文件和文件系统的元数据版本
  62.     case METADATAVERSION:
  63.       // 代码略...
  65.     //升级Namenode， 升级完成后关闭Namenode。
  66.     case UPGRADEONLY:
  67.       // 代码略...
  69.     //在默认情况下直接构造NameNode对象并返回
  70.     default:
  71.       // 初始化 度量服务
  72.       DefaultMetricsSystem.initialize("NameNode");
  73.       //  构建NameNode
  74.       return new NameNode(conf);
  75.     }
  76. }

格式化操作format

生成一个集群id，然后构建一个FSImage

clusterId：规则 CID-UUID 如：CID-d5e21420-46b8-41fb-acc7-8562be611472

  1. // 构建 FSImage
  2. FSImage fsImage = new FSImage(conf, nameDirsToFormat, editDirsToFormat);

然后根据 FSImage 构建和配置文件构建 FSNamesystem，最后再调用

  1. fsImage.format(fsn, clusterId, force);

这个进行初始化操作，生成文件

  1. /**
  2.    * Verify that configured directories exist, then
  3.    * Interactively confirm that formatting is desired 
  4.    * for each existing directory and format them.
  5.    * 
  6.    * @param conf configuration to use
  7.    * @param force if true, format regardless of whether dirs exist
  8.    * @return true if formatting was aborted, false otherwise
  9.    * @throws IOException
  10.    */
  11.   private static boolean format(Configuration conf, boolean force,  
  12.                                 boolean isInteractive) throws IOException {
  13.       // nsId =  null
  14.       String nsId = DFSUtil.getNamenodeNameServiceId(conf);
  15.       // namenodeId =  null
  16.       String namenodeId = HAUtil.getNameNodeId(conf, nsId);
  18.       initializeGenericKeys(conf, nsId, namenodeId);
  19.       //读取配置dfs.namenode.support.allow.format  namenode是否可以格式化: 默认true
  20.       checkAllowFormat(conf);
  22.       if (UserGroupInformation.isSecurityEnabled()) {
  23.         InetSocketAddress socAddr = DFSUtilClient.getNNAddress(conf);
  24.         SecurityUtil.login(conf, DFS_NAMENODE_KEYTAB_FILE_KEY,
  25.             DFS_NAMENODE_KERBEROS_PRINCIPAL_KEY, socAddr.getHostName());
  26.       }
  28.       Collection<URI> nameDirsToFormat = FSNamesystem.getNamespaceDirs(conf);
  30.       // list<URI> 0 : file:/tools/hadoop-3.2.1/data/namenode
  31.       List<URI> sharedDirs = FSNamesystem.getSharedEditsDirs(conf);
  33.       List<URI> dirsToPrompt = new ArrayList<URI>();
  35.       dirsToPrompt.addAll(nameDirsToFormat);
  36.       dirsToPrompt.addAll(sharedDirs);
  38.       // list<URI> 0 : file:/tools/hadoop-3.2.1/data/namenode
  39.       List<URI> editDirsToFormat =  FSNamesystem.getNamespaceEditsDirs(conf);
  41.       // if clusterID is not provided - see if you can find the current one
  42.       String clusterId = StartupOption.FORMAT.getClusterId();
  43.       if(clusterId == null || clusterId.equals("")) {
  44.         // Generate a new cluster id   
  45.         // 生成新的id  举例: CID-UUID  ==>  CID-d5e21420-46b8-41fb-acc7-8562be611472
  46.         clusterId = NNStorage.newClusterID();
  47.       }
  48.       System.out.println("Formatting using clusterid: " + clusterId);
  49.       // 构建 FSImage
  50.       FSImage fsImage = new FSImage(conf, nameDirsToFormat, editDirsToFormat);
  52.       //构建 FSNamesystem
  53.       try {
  54.         FSNamesystem fsn = new FSNamesystem(conf, fsImage);
  55.         fsImage.getEditLog().initJournalsForWrite();
  57.         // Abort NameNode format if reformat is disabled and if
  58.         // meta-dir already exists
  59.         if (conf.getBoolean(DFSConfigKeys.DFS_REFORMAT_DISABLED,
  60.             DFSConfigKeys.DFS_REFORMAT_DISABLED_DEFAULT)) {
  61.           force = false;
  62.           isInteractive = false;
  63.           for (StorageDirectory sd : fsImage.storage.dirIterable(null)) {
  64.               if (sd.hasSomeData()) {
  65.                   throw new NameNodeFormatException(
  66.                       "NameNode format aborted as reformat is disabled for "
  67.                           + "this cluster.");
  68.               }
  69.           }
  70.       }
  72.       if (!fsImage.confirmFormat(force, isInteractive)) {
  73.           return true; // aborted
  74.       }
  76.       fsImage.format(fsn, clusterId, force);
  78.     } catch (IOException ioe) {
  79.         LOG.warn("Encountered exception during format: ", ioe);
  80.         fsImage.close();
  81.         throw ioe;
  82.     }
  83.     return false;
  84. }

格式化后生成的文件和内容

格式化之后，会在配置 namenode 的目录生成一个 current 文件夹，里面会有四个文件

VERSION 记录版本信息 fsimage_0000000000000000000.md5 记录fsimage_0000000000000000000对应的md5 fsimage_0000000000000000000 namenode对应的fsimage文件 seen_txid 事务标识

  1. -rw-r--r--@ 1 sysadmin  staff  218  9  6 22:11 VERSION
  2. -rw-r--r--@ 1 sysadmin  staff  401  9  6 22:13 fsimage_0000000000000000000
  3. -rw-r--r--  1 sysadmin  staff   62  9  6 22:13 fsimage_0000000000000000000.md5
  4. -rw-r--r--@ 1 sysadmin  staff    2  9  6 22:11 seen_txid

  • Version 文件

    1. #Sun Sep 06 22:11:02 CST 2020
    2. namespaceID=1147175932
    3. clusterID=CID-d5e21420-46b8-41fb-acc7-8562be611472
    4. cTime=1599401184918
    5. storageType=NAME_NODE
    6. blockpoolID=BP-1598486647-192.168.8.156-1599401184918
    7. layoutVersion=-65

  • Seen_txid： 存储一个数字0

  • fsimage_0000000000000000000.md5 记录 fsimage_0000000000000000000 对应的 md5 值

  • fsimage_0000000000000000000：这里面的内容比较繁琐主要包含以下信息：

    • 保存命名空间信息
    • 保存 ErasureCoding 信息
    • 保存命名空间中的inode信息
    • 保存快照信息
    • 保存安全信息
    • 保存缓存信息
    • 保存StringTable