MapReduce的架构演变1.x的时候1、JobTracker master 计算集群管理2、TaskTracker slave 负责具体任务执行的3、Task Scheduler 作业调度
2.x Yarn出现作业的调度主要交给yarn处理1、MapReduce只是进行具体任务执行
在MapReduce1架构上面是没有yarn的，到了2之后才开始有yarn的
Mapredu’ce的原因
展开
18:21
(1) 数据处理的时候频繁的磁盘和内存中进行数据的IO,而不是始终在内存总处理，这些I/O操作导致了速度比较慢 （2）buffer in
展开
18:22
memory：达到80%数据时，将数据所在内存上，将这部分输出到磁盘上。
展开
18:24
MapReduce架构2.X架构
若有收获，就点个赞吧
0 人点赞
