集群成员代理
yarnrunner
localjobrunner
Job提交流程image.png

Job源码详解

  1. waitForCompletion()
  3. submit();
  5. // 1建立连接
  6.    connect();   
  7.       // 1）创建提交Job的代理
  8.       new Cluster(getConfiguration());
  9.          //（1）判断是本地yarn还是远程
  10.          initialize(jobTrackAddr, conf); 
  12. // 2 提交job
  13. submitter.submitJobInternal(Job.this, cluster)
  14.    // 1）创建给集群提交数据的Stag路径
  15.    Path jobStagingArea = JobSubmissionFiles.getStagingDir(cluster, conf);
  17.    // 2）获取jobid ，并创建Job路径
  18.    JobID jobId = submitClient.getNewJobID();
  20.    // 3）拷贝jar包到集群（本地不提交）
  21. copyAndConfigureFiles(job, submitJobDir);  
  22.    rUploader.uploadFiles(job, jobSubmitDir);
  24. // 4）计算切片，生成切片规划文件
  25. writeSplits(job, submitJobDir);
  26.       maps = writeNewSplits(job, jobSubmitDir);
  27.       input.getSplits(job);
  29. // 5）向Stag路径写XML配置文件
  30. writeConf(conf, submitJobFile);
  31.    conf.writeXml(out);
  33. // 6）提交Job,返回提交状态
  34. status = submitClient.submitJob(jobId, submitJobDir.toString(), job.getCredentials());