一、Hadoop的优缺点

image.png

二、组成部分

1.分布式文件系统：HDFS（Hadoop Distribute File System ）

image.png

  • NameNode**（nn）**：存储文件的元数据，比如文件名、文件目录结构、文件属性（生成时间、副
    本数、文件权限），以及每个文件的块列表和块所在的DataNode等。
  • SecondaryNameNode**（2nn）**：辅助NameNode更好的工作，用来监控HDFS状态的辅助后台
    程序，每隔一段时间获取HDFS元数据快照。
  • DataNode**（dn）**：在本地文件系统存储文件块数据，以及块数据的校验

2.分布式的离线并行计算框架 ：MapReduce

拆解任务、分散处理、汇整结果
MapReduce计算 = Map阶段 + Reduce阶段
Map阶段就是“分”的阶段，并行处理输入数据；
Reduce阶段就是“合”的阶段，对Map阶段结果进行汇总；
image.png

3.作业调度与集群资源管理的框架 ：YARN

image.png

  • ResourceManager(rm)：处理客户端请求、启动/监控ApplicationMaster、监控NodeManager、资源分配与调度；
  • NodeManager(nm)：单个节点上的资源管理、处理来自ResourceManager的命令、处理来ApplicationMaster的命令；
  • ApplicationMaster(am)：数据切分、为应用程序申请资源，并分配给内部任务、任务监控与容错。
  • Container：对任务运行环境的抽象，封装了CPU、内存等多维资源以及环境变量、启动命令等任
    务运行相关的信息。