MapReduce概述

MapReduce定义：

  1. 1.MapReduce是一个分布式运算程序的编程框架，是用户开发"基于Hadoop的数据分析应用"的核心框架
  3. 2.MapReduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个Hadoop集群上

MapReduce优点：

1.MapReduce易于编程。它简单的实现一些接口，就可以完成一个分布式程序，这个分布式程序可以分布到大量廉价的PC机器上运行。也就是说写一个分布式程序，跟写一个简单的串行程序是一模一样的。就是因为这个特点使得MapReduce编程变得非常流行

2.良好的扩展性。当你的计算资源不能得到满足的时候，可以通过简单的增加机器来扩展它的计算能力

3.高容错性。MapReduce设计的初衷就是使程序能够部署在廉价的PC机器上，这就要求它具有很高的容错性。比如其中一台机器挂了，它可以把上面的计算任务转移到另外一个节点上运行，不至于这个任务运行失败，而且这个过程不需要人工参与，而完全是由Hadoop内部完成的

4.适合PB级以上海量数据的离线处理。可以实现上前台服务器集群并发工作，提供数据处理功能

MapReduce缺点：

1.不擅长实时计算。MapReduce无法像MySQL一样，在毫秒级或者秒级内返回结果

2.不擅长流式计算。流式计算的输入数据是动态的，而MapReduce的输入数据是静态的，不能动态变化。这是因为MapReduce自身的设计特点决定了数据源必须是静态的

3.不擅长DAG（有向图）计算。多个应用程序存在依赖关系，后一个应用程序的输入为前一个的输出。在这种情况下，MapReduce并不是不能做，而是使用后，每个MapReduce作业的输出结果都会写入到磁盘，会造成大量的磁盘IO，导致性能非常低下

MapReduce核心思想：

1.分布式的运算程序往往需要分成至少2个阶段

2.第一个阶段的MapTask并发实例，完全并行运行，互不相干

3.第二个阶段的ReduceTask并发实例互不相干，但是他们的数据依赖于上一个阶段的所有MapTask并发实例的输出

4.MapReduce编程模型只能包含一个Map阶段和一个Reduce阶段，如果用户的业务逻辑非常复杂，那就只能多个MapReduce程序串行运行

`总结：分析wordCount数据流走向深入理解MapReduce核心思想`

MapReduce进程：

一个完整的MapReduce程序在分布式运行时有三类实例进程

1.MrAppMaster：负责整个程序的过程调度及状态协调

2.MapTask：负责Map阶段的整个数据处理流程

3.ReduceTask：负责Reduce阶段的整个数据处理流程

MapReduce工作原理：

1.MapReduce库先把user program的输入文件划分为M份（M为用户自定义），每一份通常有16MB到64MB，然后使用fork将用户进程拷贝到集群内其他机器上

2.user program的副本中有一个成为master，其余为worker，master是负责调度的，为空闲的worker分配作业（Map作业或者Reduce作业），worker的数量也是可以由用户指定的

3.被分配了Map作业的worker，开始读取对应分片的输入数据，Map作业数量是由M决定的，和split一一对应。Map作业从输入数据中抽取出键值对，每一个键值对都作为参数传递给Map函数，Map函数产生的中间键值对被缓存在内存中

4.缓存的中间键值对会被定期写入本地磁盘，而且被分为R个区，R的大小是由用户定义的，将来每个区会对应一个Reduce作业，这些中间键值对的位置会被通报给Master，Master负责将信息转发给Reduce worker

5.Master通知分配了Reduce作业的worker它负责的分区在什么位置，当Reduce worker把所有它负责的中间键值对都度过来后，先对它们进行排序，使得相同键的键值对聚集在一起，因为不同的键可能会映射到同一个分区也就是同一个Reduce作业，所以排序是必须的

6.当所有的Map和Reduce作业都完成了，Master唤醒正版的user program，MapReduce函数调用返回user program的代码

所有执行完毕后，MapReduce输出放在了R个分区的输出文件中（分别对应一个Reduce作业）。用户通常并不需要合并这个R文件，而是将其作为输入交给另一个MapReduce程序处理。整个过程中，输入数据是来自底层分布式文件系统（GFS）的，中间数据是放在本地文件系统的，最终输出数据是写入底层分布式文件系统（GFS）的。而且我们要注意Map/Reduce作业和，map/reduce函数的区别：Map作业处理一个输入数据的分片，可能需要调用多次map函数来处理每个输入键值对。Reduce作业处理一个分区的中间键值对，期间要对每个不同的键调用一次reduce函数，Reduce作业最终也对应一个输出文件

总结

`MapReduce是一种编程思想，可以使用Java来实现、C++来实现。Map的作用是过滤一些原始数据，Reduce则是处理这些数据，得到我们想要的结果。`