数据倾斜现象

数据频率倾斜—-某一个区域的数据量要远远大于其他区域
数据大小倾斜—-部分记录的大小远远大于平均值

如何收集倾斜数据

在reduce方法中加入记录map输出键的详细情况的功能

  1. public static final String MAX_VALUES = "skew.maxvalues";
  2. private int maxValueThreshold;
  4. @Override
  5. public void configure(JobConf job) {
  6.     //设置个最大值
  7.     maxValueThreshold = job.getInt(MAX_VALUES, 100);
  8. }
  10. @Override
  11. protected void reduce(Text key, Iterator<Text> values, OutputCollector<Text, Text> output, Reporter reporter) throws IOException, InterruptedException {
  12.     int i = 0;
  13.     while(values.hasNext()) {
  14.         values.next();
  15.         //迭代的时候把这个加加
  16.         i++;
  17.     }
  19.     //如果值大于自己设置的最大值,就把他们记录下来
  20.     if (++i > maxValueThreshold) {
  21.         log.info("Received"+ i + " values for key " + key);
  22.     }
  23. }