1, Hadoop 1.x, 2.x, 3.x的区别

image.png

2, HDFS架构概述

Hadoop Distributed File System, 简称HDFS, 是一个分布式文件系统.

  • NameNode(nn) : 存储文件的元数据, 如文件名, 文件目录结构, 文件属性(生成时间, 副本数, 文件权限), 以及每个文件的块列表和块所在的DataNode等.
  • DataNode(dn) : 在本地文件系统存储文件块数据, 以及块数据的校验和.

  • Seconddary NameNode(2nn): 每隔一段时间对NameNode元数据备份.

    3, YARN 框架概述

    Yet Another Resource Negotiator 简称 YARN ，另一种资源协调者，是 Hadoop 的资源管理器。
    image.png

    4, MapReduce 架构概述

    MapReduce 将计算过程分为两个阶段: Map和Reduce

  • Map 阶段并行处理输入数据

  • Reduce阶段数对Map结果就行汇总

image.png

5, HDFS, YARN, MapReduce三者关系

image.png