HDFS 在实际应用中的挑战

NameNdoe

我们知道 NameNode 的内存中存储着元数据，包括文件系统是目录数以及Block 块的位置信息。随着文件个数以及 Block的个数规模增加，导致NameNode 内存压力变大，如果堆的空间不足，会发生 GC，导致 STW，要知道 STW 会导致 NameNode 对外服务不可用。

解决方案：社区提供的方案是 Federation + ViewFs+DisCp

将原来一个 NameNode 水平拆分为多个独立的 NameNode ,多个 NN 之前不需要互相协调。