一：MapReduce

MapReduce是一种编程模型，用于大规模数据集（大于1TB）的并行运算。概念”Map（映射）”和”Reduce（归约）”，是它们的主要思想，都是从函数式编程语言里借来的，还有从矢量编程语言里借来的特性。它极大地方便了编程人员在不会分布式并行编程的情况下，将自己的程序运行在分布式系统上。 当前的软件实现是指定一个Map（映射）函数，用来把一组键值对映射成一组新的键值对，指定并发的Reduce（归约）函数，用来保证所有映射的键值对中的每一个共享相同的键组。

二：定义

MapReduce是面向大数据并行处理的计算模型、框架和平台，它隐含了以下三层含义： 1）MapReduce是一个基于集群的高性能并行计算平台（Cluster Infrastructure）。它允许用市场上普通的商用服务器构成一个包含数十、数百至数千个节点的分布和并行计算集群。 2）MapReduce是一个并行计算与运行软件框架（Software Framework）。它提供了一个庞大但设计精良的并行计算软件框架，能自动完成计算任务的并行化处理，自动划分计算数据和计算任务，在集群节点上自动分配和执行任务以及收集计算结果，将数据分布存储、数据通信、容错处理等并行计算涉及到的很多系统底层的复杂细节交由系统负责处理，大大减少了软件开发人员的负担。 3）MapReduce是一个并行程序设计模型与方法（Programming Model & Methodology）。它借助于函数式程序设计语言Lisp的设计思想，提供了一种简便的并行程序设计方法，用Map和Reduce两个函数编程实现基本的并行计算任务，提供了抽象的操作和并行编程接口，以简单方便地完成大规模数据的编程和计算处理 。

三：主要功能

1）数据划分和计算任务调度： 系统自动将一个作业（Job）待处理的大数据划分为很多个数据块，每个数据块对应于一个计算任务（Task），并自动 调度计算节点来处理相应的数据块。作业和任务调度功能主要负责分配和调度计算节点（Map节点或Reduce节点），同时负责监控这些节点的执行状态，并 负责Map节点执行的同步控制。 2）数据/代码互定位： 为了减少数据通信，一个基本原则是本地化数据处理，即一个计算节点尽可能处理其本地磁盘上所分布存储的数据，这实现了代码向 数据的迁移；当无法进行这种本地化数据处理时，再寻找其他可用节点并将数据从网络上传送给该节点（数据向代码迁移），但将尽可能从数据所在的本地机架上寻 找可用节点以减少通信延迟。 3）系统优化： 为了减少数据通信开销，中间结果数据进入Reduce节点前会进行一定的合并处理；一个Reduce节点所处理的数据可能会来自多个 Map节点，为了避免Reduce计算阶段发生数据相关性，Map节点输出的中间结果需使用一定的策略进行适当的划分处理，保证相关性数据发送到同一个 Reduce节点；此外，系统还进行一些计算性能优化处理，如对最慢的计算任务采用多备份执行、选最快完成者作为结果。 4）出错检测和恢复： 以低端商用服务器构成的大规模MapReduce计算集群中，节点硬件（主机、磁盘、内存等）出错和软件出错是常态，因此 MapReduce需要能检测并隔离出错节点，并调度分配新的节点接管出错节点的计算任务。同时，系统还将维护数据存储的可靠性，用多备份冗余存储机制提 高数据存储的可靠性，并能及时检测和恢复出错的数据。

四：Map

1：需求

以一条记录为单位做映射
image.png
每次map将一条数据映射为一个K,V

1：将左侧列表过滤性别为0的

2：将左侧列表转换码值为字典值

3：将左侧列表展开字段复合值

五：Reduce

image.png

1：定义

Reduce以一组为单位做计算，将key一样的作为一组（分组）。

六：MapReduce

1：Map

映射、变换、过滤
1进N出

2：Reduce

分解、缩小、归纳
一组进N出
(KEY,VAL)： 键值对的键划分数据分组
image.pngimage.pngimage.pngimage.pngimage.png

3：架构图

image.png
block > split 1:1 N:1 1:N
split > map 1:1
map > reduce N:1 N:N 1:1 1:N
group(key)>partition 1:1 N:1 N:N 1:N

1：split

split对应左边的块，split和块的对应是 1:N N:N N:1，一个split对应一个map映射

2：map

一个map例如映射男女的K,V

3：reduce

reduce个数一般可以取决于人的思考，当左侧有10亿分组时，右侧不可能10亿reduce，所以不能依据分组决定reduce的个数，但是一个reduce只处理一个分组的逻辑，例如k是男
reduce从文件中拉取数据，规避内存溢出问题

七：明细图

image.png

1：切片

格式化出记录（例如，一行以换行符分隔），以记录调用map()

2：map

map映射成kv，kv参与分区计算，拿着key算出KV，P（分区）

3：maptask

maptask输出是一个文件，存在本地文件系统，基于一个内存缓冲区再刷到disk，内存缓冲区写磁盘时，做一个2次排序，分区有序，且分区内key有序未来相同的一组key会相邻的排在一起，reduce归并排序其实可以和reduce方法的计算同时发生，尽量减少IO，因为有迭代器模式的支持

4：迭代器模式

是批量计算中非常优秀的实现形式

八：示例

1：计算文件中的相同行

image.png

2：计算文件中单词的个数

image.png