一、版本介绍

版本:
Hadoop1.x
Hadoop2.x
Hadoop3.x

生产环境使用Release版本

二、Hadoop3新特性

  • Classpath isolation：防止不同版本jar包冲突

  • Shell重写

  • 支持HDFS中的擦除编码 Erasure Encoding：默认的EC策略可以节省50%的存储空间，同时还可以承受更多的存储故障

  • DataNode内部添加了负载均衡：Disk Balancer(磁盘之间的负载均衡)

  • MapReduce任务级本地优化

  • MapReduce提供了内存自动推断：mapreduce.{map/reduce}.memory.mb和mapreduce.{map/reduce}.java.ops

  • 基于cgroup的内存隔离和IO Disk隔离

  • 支持更改分配容器的资源Container resizing

  • 内部端口变化