hive 开启压缩

一、性能测试

  • hive-1.1.0-cdh5.4.4
  • hadoop-2.6.0-cdh5.4.4
  • 文件 1200 M
压缩类型 压缩后的数据 压缩写入时间 查询解压时间
原始文件 1200 M (100%) 100s 32 s
BZip2 132 M (11%) 190 s 40 s
Snappy 428 M (36%) 54 s 20 s
Hive ORC 文件格式 50 M (4%) 90 s 20 s

二、开启压缩

三、压缩后的效果

压缩库 压缩前数据 压缩后数据
access_log 294.7 G 884.0 G 121.6 G 364.9 G
db_gather 369.1 G 1.1 T 66.1 G 198.2 G