image.png
图片来源网络，点赞
**
工作中常用的 hive 参数调优，整理如下。

原则：

  • 最少数据
  • 最少字段
  • 最少Job数
  • 最少读取次数
  • 避免数据倾斜
  • 整体最优而不是局部最优
  • JVM 内存

文件大小合理切分

这里需要结合集群的资源来合理的设置切片大小。

  1. # 文件分割大小
  2. set mapreduce.input.fileinputformat.split.maxsize=536870912;
  3. # 节点文件分割大小
  4. set mapreduce.input.fileinputformat.split.minsize.per.node=536870912;
  5. # 机架文件分割大小
  6. set mapreduce.input.fileinputformat.split.minsize.per.rack=536870912;
  7. # Reduce 文件分割大小
  8. set hive.exec.reducers.bytes.per.reducer=536870912;
  10. # 输入合并
  11. set hive.input.format=org.apache.hadoop.hive.ql.io.CombineHiveInputFormat;
  13. # 在Map-only的任务结束时合并小文件
  14. set hive.merge.mapfiles=true;
  15. # 在Map-reduce结束时合并小文件,(注：如果文件压缩格式不一致必须设置为false)
  16. set hive.merge.mapredfiles=true;
  17. # 合并文件的大小（默认）
  18. set hive.merge.size.per.task=104857600; 
  19. # 当输出文件的平均大小小于该值时，启动一个独立的map-reduce任务进行文件merge（默认）
  20. set hive.merge.smallfiles.avgsize=104857600;

最小数据

最小数据原则：（map阶段，shuffle阶段，reduce阶段）

  1. 网络开销：map端在写磁盘的时候采用压缩的方式将map的输出结果进行压缩是一个减少网络开销很有效的方法
  2. 数据集大小：


  1. # 数据先过滤后使用
  3. # Shuffle操作
  4. # Hive Group By查询中是否在Map端先进行聚合
  5. set hive.map.aggr=true;
  7. # Spill、Meger文件进行压缩
  8. set mapreduce.map.output.compress=true;
  9. # 压缩编解码器的类名
  10. set mapreduce.map.output.compress.codec=org.apache.hadoop.io.compress.SnappyCodec;

数据倾斜

  1. # 是否启用倾斜连接优化
  2. set hive.optimize.skewjoin=true;

开启并行

  1. # 开启任务并行执行
  2. set hive.exec.parallel=true;
  3. # 允许并行任务的最大线程数
  4. set hive.exec.parallel.thread.number=16;
  5. # 默认情况下，当整个MapReduce作业的所有已执行完成的Map Task任务数超过Map 
  6. # Task总数的 mapreduce.job.reduce.slowstart.completedmaps (默认为0.05) 后，ApplicationMaster便会开始调度执行Reduce Task任务。
  7. set mapreduce.job.reduce.slowstart.completedmaps=0.05
  8. # 个MapOutputCopier线程到已完成的Map Task任务节点上分别copy一份属于自己的数据。 
  9. # 这些copy的数据会首先保存的内存缓冲区中，当内冲缓冲区的使用率达到一定阀值后，则写到磁盘上。
  10. set mapred.reduce.parallel.copies=5

内存优化

1.JVM进程跑在 container 中，mapreduce.map.java.opts 能够通过Xmx设置JVM最大的heap的使用，一般设置为 0.75 倍的 mapreduce.map.memory.mb ，因为需要为 Java code，非JVM内存使用等预留些空间；reduce的内存设置同理。


  1. # 设置环形缓冲区的大小，经过map处理后的键值对，不会立马写入磁盘，
  2. # 而是暂时保存在内存中的MapOutputBuffe内部的环形数据缓冲区
  3. set mapreduce.task.io.sort.mb=1024
  4. # 开始 spill 的百分比
  5. set mapreduce.map.sort.spill.percent=0.8
  7. # 设置 Map 的内存大小以及 JVM Heap
  8. set mapreduce.map.memory.mb=4096
  9. set mapreduce.map.java.opts=-Xmx3072M
  11. # 设置 Reduce 的内存大小以及 JVM Heap
  12. set mapreduce.reduce.memory.mb=4096
  13. set mapreduce.reduce.java.opts=-Xmx3072M
  15. # shuffile在reduce内存中的数据最多使用内存量
  16. mapred.job.shuffle.input.buffer.percent=0.7

磁盘优化

磁盘的频繁IO也是一种不小的消耗，所以可以通过配置一些参数来减少磁盘的IO

  1. # 默认代表进行merge的时候最多能同时merge多少spill
  2. # 如果有100个spill个文件，此时就无法一次完成整个merge的过程
  3. # 这个时候需要调大来减少merge的次数，从而减少磁盘的操作；
  4. set mapreduce.task.io.sort.factor=10
  6. # Combiner存在的时候，此时会根据Combiner定义的函数对map的结果进行合并，什么时候进行Combiner操作呢？？？
  7. # 和Map在一个JVM中，是由min.num.spill.for.combine的参数决定的，默认是3，
  8. # 也就是说spill的文件数在默认情况下由三个的时候就要进行combine操作，最终减少磁盘数据；
  9. set min.num.spill.for.combine=3
  10. # 减少磁盘IO和网络IO还可以进行：压缩，对spill，merge文件都可以进行压缩。
  11. # 中间结果非常的大，IO成为瓶颈的时候压缩就非常有用，可以通过mapreduce.map.output.compress（default：false）设置为true进行压缩，
  12. # 数据会被压缩写入磁盘，读数据读的是压缩数据需要解压，在实际经验中Hive在Hadoop的运行的瓶颈一般都是IO而不是CPU，压缩一般可以10倍的减少IO操作，
  13. # 压缩的方式Gzip，Lzo,BZip2,Lzma等，其中Lzo是一种比较平衡选择，mapreduce.map.output.compress.codec（default：org.apache.hadoop.io.compress.DefaultCodec）参数设置。
  14. # 但这个过程会消耗CPU，适合IO瓶颈比较大。
  15. set mapreduce.map.output.compress=true
  16. mapreduce.map.output.compress.codec=org.apache.hadoop.io.compress.SnappyCodec

资源参数

  1. # 指定资源队列,root.urgent
  2. set mapred.job.queue.name=root.default;
  3. # 最小可申请内存量
  4. set yarn.scheduler.minimum-allocation-mb=1024;
  5. # 最大可申请内存量
  6. set yarn.scheduler.maximum-allocation-mb=32768;
  7. # 最小可申请CPU数
  8. set yarn.scheduler.minimum-allocation-vcores=1;
  9. # 最大可申请CPU数
  10. set yarn.scheduler.maximum-allocation-vcores=16;
  11. # AM Container Heap内存大小
  12. set yarn.app.mapreduce.am.command-opts=-Xmx2048M;
  13. # AM Container内存大小
  14. set yarn.app.mapreduce.am.resource.mb=4096;
  15. # NodeManger可用内存大小
  16. set yarn.nodemanager.resource.memory-mb=57344;
  17. # NodeManger可用CPU数
  18. set yarn.nodemanager.resource.cpu-vcores=16;

参考