考试时间下午15:30~17:40分 共计2个小时

考试中

  1. 一个题目，找到答案很容易，但是思考却很困难，不要做急于奔波的人，忙忙碌碌，却忘记了思考！

一、简单题（40分）

1、一个260M的文件，在HDFS上存储，分为几个块？用MapReduce读取，分为几个片？
2、简述HDFS的开机启动流程(非第一次启动)
3、简述YARN的job提交流程
4、简述MapTask做了什么事情，从读取文件到生成MapTask的文件

二、编程题（60分）

1、求共同好友
以下是qq的好友列表数据，冒号前是一个用户，冒号后是该用户的所有好友（数据中的好友关系是单向的）

  1. A:B,C,D,F,E,O
  2. B:A,C,E,K
  3. C:A,B,D,E,I 
  4. D:A,E,F,L
  5. E:B,C,D,M,L
  6. F:A,B,C,D,E,O,M
  7. G:A,C,D,E,F
  8. H:A,C,D,E,O
  9. I:A,O
  10. J:B,O
  11. K:A,C,D
  12. L:D,E,F
  13. M:E,F,G
  14. O:A,H,I,J

求出哪些人两两之间有共同好友，及他俩的共同好友都有谁？
A-B C-D-F

  1. 首先此题需要进行两次mapreduce
  2. 首先将数据切割
  3. A:B,C,D,F,E,O
  4. B:A,C,E,K
  5. A的好友是B,C,D,F,E,O
  6. 也就是说B是A的好友，C是A的好友.....
  7. 可以将数据变为
  8. B   A
  9. C   A
  10. D   A
  11. F   A
  12. E   A
  13. O   A
  14. A   B
  15. C   B
  16. E   B
  17. K   B
  18. 然后根据Key值合并的数据是
  19. B   A
  20. C   A-B
  21. D   A
  22. F   A
  23. E   A-B
  24. 当然全部的数据也会出现
  25. F   A-B-C 的情况
  26. 比如是： C   A-B  说明 A和B的共同好友是C
  27.          F   A-B-C   A,B,C的共同好友是F
  28. 然后接着进入第二次mapReduce ，文件就是第一次的mapreduce产生的文件。
  29. F    A-B-C
  30. 进行切割后，第二个值 A-B-C  再次切割，两两配对，输出即可。
  31. A-B-C   D
  32. A-B   D
  33. A-C   D
  34. B-C   D
  36. 根据key进行合并
  37. A-B   D-E-F
  38. 表示A和B的共同好友是D-E-F

将写好的代码，打包上传，在yarn平台上运行，并在yarn的web界面上截图，并在文档中贴出运行成功的截图。

参考答案：

  1. import org.apache.hadoop.conf.Configuration;
  2. import org.apache.hadoop.fs.Path;
  3. import org.apache.hadoop.io.IntWritable;
  4. import org.apache.hadoop.io.LongWritable;
  5. import org.apache.hadoop.io.Text;
  6. import org.apache.hadoop.mapreduce.Job;
  7. import org.apache.hadoop.mapreduce.Mapper;
  8. import org.apache.hadoop.mapreduce.Reducer;
  9. import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
  10. import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
  12. import java.io.IOException;
  14. /**
  15.  * @Author laoyan
  16.  * @Description TODO
  17.  * @Date 2022/4/17 9:53
  18.  * @Version 1.0
  19.  */
  21. /**
  22.  * A:B,C,D,F,E,O
  23.  *
  24.  * B   A
  25.  * C   A
  26.  * D   A
  27.  * F   A
  28.  * E   A
  29.  *
  30.  */
  31. class QQMapper01 extends Mapper<LongWritable, Text,Text,Text>{
  33.     private Text v2;
  34.     private Text k2;
  36.     @Override
  37.     protected void setup(Mapper<LongWritable, Text, Text, Text>.Context context) throws IOException, InterruptedException {
  38.         k2 =new Text();
  39.         v2 = new Text();
  40.     }
  42.     @Override
  43.     protected void map(LongWritable key, Text value, Mapper<LongWritable, Text, Text, Text>.Context context) throws IOException, InterruptedException {
  44.         String line = value.toString();
  45.         String[] split = line.split(":");
  46.         String val = split[0];
  47.         String[] arr = split[1].split(","); //B,C,D,F,E,O
  48.         for (String s:arr ) {
  49.             k2.set(s);
  50.             v2.set(val);
  51.             context.write(k2,v2);
  52.         }
  53.     }
  54. }
  56. /**
  57.  *  输入
  58.  *   B   [A C D E]
  59.  *   A   [E F D G]
  60.  *   结果：
  61.  *   B   A-C-D-E
  62.  *
  63.  */
  64. class QQReducer01 extends Reducer<Text,Text,Text,Text>{
  67.     private Text v3;
  69.     @Override
  70.     protected void setup(Reducer<Text, Text, Text, Text>.Context context) throws IOException, InterruptedException {
  72.         v3=new Text();
  73.     }
  75.     @Override
  76.     protected void reduce(Text key, Iterable<Text> values, Reducer<Text, Text, Text, Text>.Context context) throws IOException, InterruptedException {
  77.         StringBuffer sb =new StringBuffer();
  78.         for (Text s:values) {
  79.             sb.append(s.toString()).append("-");
  80.         }
  81.         v3.set(sb.toString().substring(0,sb.length()-1));
  82.         context.write(key,v3);
  83.     }
  84. }
  85. public class QQDriver01 {
  87.     public static void main(String[] args) throws Exception {
  89.         Configuration conf = new Configuration();
  90.         conf.set("fs.defaultFS", "file:///");
  91.         conf.set("mapreduce.framework.name","local");
  92.         Job job = Job.getInstance(conf,"QQ第一次MR");
  94.         job.setMapperClass(QQMapper01.class);
  95.         job.setReducerClass(QQReducer01.class);
  96.         job.setJarByClass(QQDriver01.class);
  98.         // 设置map和reduce 的输出类型
  99.         job.setOutputKeyClass(Text.class);
  100.         job.setOutputValueClass(Text.class);
  102.         FileInputFormat.setInputPaths(job,new Path(args[0]));
  104.         FileOutputFormat.setOutputPath(job,new Path(args[1]));
  105.         System.exit(job.waitForCompletion(true)?0:1);
  106.     }
  107. }

image.png

  1. import org.apache.hadoop.conf.Configuration;
  2. import org.apache.hadoop.fs.Path;
  3. import org.apache.hadoop.io.LongWritable;
  4. import org.apache.hadoop.io.Text;
  5. import org.apache.hadoop.mapreduce.Job;
  6. import org.apache.hadoop.mapreduce.Mapper;
  7. import org.apache.hadoop.mapreduce.Reducer;
  8. import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
  9. import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
  11. import java.io.IOException;
  12. import java.util.Arrays;
  14. /**
  15.  * @Author laoyan
  16.  * @Description TODO
  17.  * @Date 2022/4/17 10:15
  18.  * @Version 1.0
  19.  */
  21. /**
  22.  *    A      I-K-B-G-F-H-O-C-D-
  23.  *    I-K  A
  24.  *    I-B  A
  25.  *    .....
  26.  *
  27.  *
  28.  *    reduce 的输入：
  29.  *    I-K  [A，B,C]
  30.  *    输出
  31.  *    I-K  A-B-C
  32.  */
  33. class QQMapper02 extends Mapper<LongWritable, Text,Text,Text>{
  35.     private Text v2;
  36.     private Text k2;
  38.     @Override
  39.     protected void setup(Mapper<LongWritable, Text, Text, Text>.Context context) throws IOException, InterruptedException {
  40.         k2 =new Text();
  41.         v2 = new Text();
  42.     }
  44.     @Override
  45.     protected void map(LongWritable key, Text value, Mapper<LongWritable, Text, Text, Text>.Context context) throws IOException, InterruptedException {
  46.         String line = value.toString();
  47.         String[] split = line.split("\t");
  48.         String k = split[0];
  49.         String[] arr = split[1].split("-");
  50.         Arrays.sort(arr);
  51.         System.out.println(Arrays.toString(arr));
  52.         //  B C D E F
  53.         for (int i=0 ;i< arr.length - 1;i++){
  54.             for (int j= i+1 ;j< arr.length ; j++){
  55.                 k2.set(arr[i]+"-"+arr[j]);
  56.                 v2.set(k);
  57.                 context.write(k2,v2);
  58.             }
  59.         }
  61.     }
  62. }
  64. class QQReducer02 extends Reducer<Text,Text,Text,Text>{
  66.     private Text v3;
  68.     @Override
  69.     protected void setup(Reducer<Text, Text, Text, Text>.Context context) throws IOException, InterruptedException {
  71.         v3=new Text();
  72.     }
  74.     /**
  75.      *
  76.      * reduce 的输入：
  77.      *  *    I-K  [A，B,C]
  78.      *  *    输出
  79.      *  *    I-K  A-B-C
  80.      */
  82.     @Override
  83.     protected void reduce(Text key, Iterable<Text> values, Reducer<Text, Text, Text, Text>.Context context) throws IOException, InterruptedException {
  84.         StringBuffer sb =new StringBuffer();
  85.         for (Text t:values) {
  86.             sb.append(t.toString()).append("-");
  87.         }
  89.         String v = sb.toString().substring(0,sb.length()-1);
  91.         v3.set(v);
  92.         context.write(key,v3);
  94.     }
  95. }
  96. public class QQDriver02 {
  98.     public static void main(String[] args) throws Exception{
  100.         Configuration conf = new Configuration();
  101.         conf.set("fs.defaultFS", "file:///");
  102.         conf.set("mapreduce.framework.name","local");
  103.         Job job = Job.getInstance(conf,"QQ第二次MR");
  105.         job.setMapperClass(QQMapper02.class);
  106.         job.setReducerClass(QQReducer02.class);
  107.         job.setJarByClass(QQDriver02.class);
  109.         // 设置map和reduce 的输出类型
  110.         job.setOutputKeyClass(Text.class);
  111.         job.setOutputValueClass(Text.class);
  113.         FileInputFormat.setInputPaths(job,new Path(args[0]));
  115.         FileOutputFormat.setOutputPath(job,new Path(args[1]));
  116.         System.exit(job.waitForCompletion(true)?0:1);
  118.     }
  119. }

image.png
测试切割是几个值：

  1. /**
  2.  * @Author laoyan
  3.  * @Description TODO
  4.  * @Date 2022/4/17 10:37
  5.  * @Version 1.0
  6.  */
  7. public class MainText {
  9.     public static void main(String[] args) {
  10.         String str = "F-M-L-H-G-D-C-B-A-";
  11.         String[] arr = str.split("-");
  12.         System.out.println(arr.length);
  13.         // 答案是9个
  14.     }
  15. }