HDFS 概述

随着数据量越来越大，在一个操作系统存不下所有的数据，就需要分配到更多的操作系统管理的磁盘中。但是不方便管理和维护，所以需要一种系统来管理多台机器上的文件，这种系统就是分布式文件管理系统。HDFS就是一种分布式文件管理系统。

HDFS（Hadoop Distributed File System）：HDFS是Hadoop分布式文件系统，被设计用于存储大规模数据集并具有高容错性、高吞吐量、高可扩展性等特点。它将数据划分为多个块，这些块可被存储在分布式文件系统中的不同计算节点上，确保数据的备份和容错性。

HDFS的使用场景：适合一次写入、多次读出的场景。一个文件经过创建、写入和关闭之后就不需要改变。（比如数仓）

优点：

  1. 支持海量数据的存储：HDFS可以存储海量数据。对于一个文件，它可以被切分为多个块并存储在不同的数据节点中。同时，HDFS还支持多副本备份，以增强数据可靠性。
  2. 具有高容错性：HDFS处理海量数据时，容错是至关重要的。当一个数据块损坏或某个节点出现故障时，HDFS会自动从其他节点获取相同的数据块，以确保数据的安全性和完整性。
  3. 高吞吐量：HDFS的设计目标之一是具有高吞吐量，因此它能够快速读取和写入大数据。分块存储和分布式数据处理架构确保了不同数据块之间的并行处理能力，从而提供了高吞吐量的支持。
  4. 高可扩展性：HDFS可进行无缝扩展，集群中可以轻松增加或删除数据节点。这使得企业可以灵活地根据当前的需求来调整自己的资源投入。
  5. 支持数据访问与管理：HDFS提供了多种访问方式，如通过命令行界面、Java API、Hadoop Streaming等方式来访问数据，同时HDFS也可以被一些数据管理工具（如Hive、HBase等）所使用。

缺点：

  • 不适合低延时数据访问，比如毫秒级的存储数据是做不到的（适合高吞吐量的批量数据读写，不适合交互式应用）
  • 无法高效的对大量小文件进行存储。 存储大量小文件的话，会占用NameNode大量的内存来存储文件目录和块信息，但是NameNode的内存是有限的；

默认情况下，每个数据块大小是128M，即该数据块上最多能存128M。当有文件需要存储时，hdfs会将该文件按128M拆分成若干个文件块，分别存储在不同数据块上。如果文件大小只有1kb，那么这个128M的数据块中就可以存储多个文件块。

不管占用多少个数据块，一个文件拆分出的每个文件块都需要占用NameNode中150字节。如果存储了过多的小文件，就可能造成数据块还没存满、NameNode已经因为文件块过多导致无法存储了。比如 128G的NameNode最多只能存储9亿个小文件（128GB / 150 Byte = 9亿）

小文件存储的寻址时间会超过读取文件本身的时间，违反了 HDFS 的设计目标；

  • 不支持并发写入、文件随机修改 一个文件只能有一个线程进行写入，不允许多线程同时写； 文件写入后，后续只能进行数据追加（append），不支持文件的随机修改（update）；

HDFS架构

参考官网：https://hadoop.apache.org/docs/r3.2.3/hadoop-project-dist/hadoop-hdfs/HdfsDesign.html（路径中的r3.2.3换成对应的版本即可）
image.png

NameNode：简称NN，就是Master，是一个管理者

  • 管理HDFS的名称空间，存放文件元数据（文件名、目录结构、文件属性等）
  • 配置副本策略
  • 管理数据块（block）映射信息（文件与数据块的映射、数据块与数据节点的映射）
  • 处理客户端读写请求

DataNode：就是Slave。根据NameNode的指令执行实际的操作

  • 存储实际的数据块
  • 执行数据块的读/写操作

Secondary NameNode：简称2NN。不是NameNode的热备，当NameNode宕机时，并不能马上替换NameNode提供服务

  • 服务NameNode，分担其工作量，比如定期合并 Fsimage 和 Edits，并推送给NameNode
  • 在紧急情况下，可辅助恢复NameNode

上面的Hadoop官方绘制的HDFS架构图中并没有2NN，因为在企业中一般会将NameNode搭建成高可用，而不是使用2NN。

Client：客户端

  • 文件切分。文件上传 HDFS 时，Client将文件切分成一个个的Block然后进行上传
  • 与NameNode交互，获取文件的位置信息
  • 与DataNode交互，读取或写入数据
  • Client提供一些命令来管理HDFS，比如NameNode格式化
  • Client可以通过一些命令来访问HDFS，比如对HDFS进行增删改查操作

    HDFS 文件块（重点）

    HDFS中的文件在物理上是分块存储（Block），块的大小可以通过配置参数dfs.blocksize来规定（位于hdfs-default.xml中）， hadoop 2.x、hadoop 3.x 中默认大小是 128M，hadoop 1.x中默认大小是 64M。

数据块大小 128M，如果一个文件大小只有1kb，那么只会占用这个数据块中1kb大小的空间，剩余空间依然可以让其他文件进行占用。

最佳的文件块大小配置：机械硬盘的HDFS数据块最佳大小为128M，固态硬盘的HDFS数据块最大小为256M。

计算方式：

  1. 假设寻址时间为10ms，即查找到目标block的时间为10ms
  2. 根据实践，寻址时间为传输时间的 1% 时，系统为最佳状态。因此传输时间为 10ms / 0.01 = 1s。即花费10ms找到这个数据块，花费1s读完这个数据块的内容。
  3. 目前机械硬盘传输速度约 100M/s， 固态硬盘 200M/s - 300M/s
  4. 所以，对于机械硬盘：1s时间可以传输 100M数据，所以数据块设置为 128M 较为合适。对于固态硬盘，数据块大小设置为256M较为合适。

数据块大小设置规则：

  • 如果数据块设置的太小，会增加寻址时间，程序一直在找块的开始位置
  • 如果数据块设置的太大，从磁盘传输数据的时间会明显大于定位这个块开始位置所需的时间，导致程序在处理这块数据时比较缓慢

总结：HDFS块的大小设置主要取决于磁盘传输速率

HDFS特性

主从架构：

  • HDFS 集群是标准的 master/slave 主从架构集群
  • 一般一个HDFS集群是由一个 NameNode 和一定数量的 DataNode组成
  • NameNode 是 HDFS主节点，DataNode是 HDFS 从节点，两种角色各司其职，共同协调完成分布式的文件存储服务

分块存储：

  • HDFS中的文件在物理上是分块存储（block）的，默认大小是128M，不足128M则本身就是一块
  • 块的大小可以通过配置参数来规定，参数位于hdfs-site.xml中dfs.blocksize

副本机制：

  • 文件的所有block都会有副本，副本数量可以在文件创建时指定，也可以在之后通过命令改变
  • 副本数由参数dfs.replication控制，默认值是 3。 也就是除了本身外，还会额外再复制2份。

元数据管理。
在HDFS中，NameNode管理的元数据分为两类：

  • 文件自身属性信息：文件名称、权限、修改时间、文件大小、复制因子、数据块大小
  • 文件块位置映射信息：记录文件块和DataNode之间的映射信息，即哪个块位于哪个节点上

namespace：

  • HDFS支持传统的层次型文件组织结构。用户可以创建目录，然后将文件保存在这些目录里。文件系统名字空间的层次结构和Linux等大多数现有的文件系统类似
  • NameNode负责维护文件系统的namespace名称空间，任何堆文件系统名称空间或属性的修改都将被namenode记录下来
  • HDFS 会给客户端提供一个统一的抽象目录树，客户端通过路径来访问文件。例如：hdfs://namenode:port/dir-a/dir-b/dir-c/file.data

数据块存储：

  • 文件的各个block具体存储管理由DataNode节点承担
  • 每一个block都可以在多个datanode上存储