数据压缩

优点：减少磁盘IO、减少占用的磁盘存储空间

缺点：增加CPU开销。

原则：

• 对于IO密集型 job ，可以多用压缩
• 对于运算密集型的 job，少用压缩

压缩编码

压缩算法对比：

LZO的压缩率不如Gzip、biz2，但是压缩速度、解压速度非常快。支持split切片，但是切片需要额外创建索引。

Gzip压缩率 比较高，压缩/解压速度一般般。

bzip2压缩率非常高，可以将一个大文件压缩成一个很小的文件，但是压缩速度、解压速度非常缓慢。支持split切片

Snappy设计的目的也不是为了高压缩率，而是为了非常快的速度和合理的压缩。在 64位i7 处理器环境，snappy的压缩速度可以达到每秒250Mb，解压速度每秒500Mb。

Snappy是谷歌开源的，在谷歌内部被广泛用于 BigTable、MapReduce等内部 RPC 系统。

压缩位置

压缩可以在MapReduce作用的任意阶段启动，一般分为：

• 输入端压缩
• Mapper输出端压缩
• Reducer输出端压缩

压缩参数配置

为了支持多种压缩/解压格式，Hadoop引入了编码/解码器：

开启压缩需要配置相关的参数：

也可以在 Java 程序中，对某个MapReduce开启压缩：（即：不在xml中配置，而是在configuration对象中添加配置信息）

// 开启mappper端输出压缩
configuration.setBoolean("mapreduce.map.output.compress", true);
// 设置mappper输出的压缩方式
configuration.setClass("mapreduce.map.output.compress.codec", BZip2Codec.class, CompressionCodec.class);
//  也可以通过FileOutputFormat工具进行配置，（实际上也是对configuration对象添加了配置项）
// 设置reduce端输出压缩开启
FileOutputFormat.setCompressOutput(job, true);
// 设置压缩的方式
FileOutputFormat.setOutputCompressorClass(job, BZip2Codec.class);