Yarn 命令 和 资源配置

一、 用户命令

  1. 1) application 管理
  3.   (1) 查看作业列表
  4.     yarn application -list  
  6.   (2) 删除应用
  7.     yarn application -kill <application_id> 删除应用
  10. 2) application logs
  12.   yarn logs -applicationId xxxxxxx : 根据 applicationId id 查询运行完成的应用日志
  14.   $HADOOP_HOME/conf/yarn-default.xml
  16.   (1) yarn.log-aggregation-enable=true : 是否开启日志聚合
  18.     默认 : false
  19.       a) yarn.nodemanager.log.retain-seconds=86400 : (秒数,保留 NodeManager 本地的日志的时间)
  20.       b) yarn.nodemanager.log-dirs=file:///data/yarn/logs : 日志本地目录
  21.         默认 : ${yarn.log.dir}/userlogs
  23.     当为 true 时:
  24.       a) yarn.nodemanager.remote-app-log-dir=/tmp/logs : 日志聚合保存在 HDFS 中
  25.       b) yarn.nodemanager.remote-app-log-dir-suffix=logs : 日志前缀
  26.       c) yarn.log-aggregation.retain-seconds=86400 : (秒数,表示多少秒删除一次日志,86400 表示一天删除一次,-1 表示不删除)
  27.       d) yarn.log-aggregation.retain-check-interval-seconds=86400 : (秒数,表示多久检查一次是否保留汇聚的日志,86400 表示一天检查一次，-1 表示不检查)
  29.   (2) application 任务完成后的归档日志
  30.     hdfs dfs -ls  /var/log/hadoop-yarn/apps  
  32.   (3) application 正在运行的日志
  33.     NodeManager 的 /data/yarn/logs 中
  35.   (4) yarn 本地运行日志
  36.     cd /var/log/hadoop-yarn/
  37.     tail -f yarn-hadoop-resourcemanager-uhadoop-ociicy-master1.log
  40. 3) node 输出节点报告
  42.   (1) 列出所有正在运行的节点
  43.     yarn node -list
  45.   (2) 输出节点的状态报告
  46.     yarn node -status uhadoop-ociicy-task3:33616
  49. 4) jar 运行一个 jar 文件。
  50.   yarn jar <jar> [mainClass] args
  53. 5) yarn version
  54.   输出 Yarn 版本
  57. 6) yarn classpath
  58.   打印所需的类路径获取Hadoop jar和所需的库

MapReduce 命令:

  2. 1) 查看 job 任务
  3.   mapred job -list
  5. 2) 将正在运行的 hadoop 作业kill掉
  6.   mapred job –kill [job-id]
  8. 3) 查看 job 状态
  9.   mapred job -status [job-id]
  11. 4) 内存
  12.   $HADOOP_HOME/conf/mapred-site.xml
  14. 5) 重启 historyserver
  15.   service hadoop-mapreduce-historyserver start

二、 管理命令

  • yarn rmadmin -help
  1. 1) 增加或关闭 Yarn 节点
  2.   yarn rmadmin -refreshNodes  刷新节点
  4.   (1) yarn.resourcemanager.nodes.include-path :  一个路径文件 , 指定 ResourceManager 接受的 Node 列表 ,默认空
  5.     example:
  6.       10.10.10.11
  7.       10.10.10.10
  9.   (2) yarn.resourcemanager.nodes.exclude-path :  一个路径文件 , 指定 ResourceManager 不会接受使用的 Node 列表 ,默认空
  10.     example:
  11.       10.10.10.12
  12.       10.10.10.13
  15. 2) Capacity 调度器配置
  16.   yarn rmadmin -refreshQueues  刷新调度器配置
  18.   $HADOOP_HOME/conf/capacity-scheduler.xml  : 配置文件
  21. 3) JobHistoryServer  Yarn 上所有 MapReduce 作业历史服务器
  22.   $HADOOP_HOME/conf/mapred-default.xml
  24.   (1) mapreduce.jobhistory.address=xxx.xxx.xxx.xxx:10020  
  25.     日志服务器的 ip 和 port
  27.   (2) mapreduce.jobhistory.cleaner.enable=true
  28.     清理作业历史
  30.   (3) mapreduce.jobhistory.done-dir=${yarn.app.mapreduce.am.staging-dir}/history/done
  31.     完成后的日志目录
  35. 5) 更新用户到用户组的映射
  36.     yarn rmadmin -refreshUserToGroupsMappings
  38.     $HADOOP_HOME/conf/core-default.xml
  40.     (1) hadoop.security.group.mapping
  43. 6) 刷新超级用户代理组映射
  44.     yarn rmadmin -refreshSuperUserGroupsConfiguration
  46.     $HADOOP_HOME/conf/core-default.xml
  49. 7) 更新 ResourceManager 管理的 ACL (Access Control List 访问控制列表)
  50.     yarn rmadmin -refreshAdminAcls
  52.     $HADOOP_HOME/conf/yarn-default.xml
  54.     (1) yarn.acl.enable=true
  55.       启用 ACL
  57.     (2) yarn.admin.acl
  58.       指定某个账号可以成为集群的管理者
  59.       example:
  60.         yarn.admin.acl=user1,user2 group1,group2
  61.         用户用 ',' 号分割
  62.         用户组用 ',' 号分割
  63.         用户和用户组用 ' ' 空格分开,空格左边是用户，空格右边是用户组
  66. 8) 重新加载服务级授权策略文件
  67.     yarn rmadmin -refreshServiceAcl
  69. 9) 获取节点状态
  70.     yarn rmadmin -getServiceState rm1
  72. 10) 切换活动节点
  73.     yarn rmadmin -transitionToActive rm1
  76. * 其他管理命令
  78. 1) 启动 ResourceManager (ResourceManager 节点启动)
  79.   yarn resourcemanager
  81.   $HADOOP_HOME/conf/yarn-default.xml
  83.   (1) ApplicationMaster -> ResourceManager 申请 最小/最大 内存数 (一个容器), 可为容器请求的最大物理内存数量
  84.     yarn.scheduler.minimum-allocation-mb=1024  :  最小可申请内存量，默认是1024
  85.     yarn.scheduler.maximum-allocation-mb=25600  :  最大可申请内存量，默认是 8096
  87.   (2) ApplicationMaster -> ResourceManager 申请 最小/最大 CPU 核数 (一个容器), 容器可以请求的虚拟 CPU 内核的最大数量
  88.     yarn.scheduler.minimum-allocation-vcores=1   : 最小可申请CPU数，默认是1
  89.     yarn.scheduler.maximum-allocation-vcores=8   : 最大可申请CPU数，默认是 4
  92. 2) 启动 NodeManager (NodeManager 节点启动)
  93.    yarn nodemanager
  95.    $HADOOP_HOME/conf/yarn-default.xml
  97.    (1) NodeManager -> ResourceManager 注册节点时到集群的最大 内存, 只需给系统保留 4G 的容量给系统
  98.       yarn.nodemanager.resource.memory-mb=25600 : 节点最大可用内存, 25 G
  100.    (2) NodeManager -> ResourceManager 注册节点时到集群的最大 CPU
  101.       yarn.nodemanager.resource.cpu-vcores=8  :  节点最最大可用 CPU 数
  104. 3) 启动 proxyserver  web 代理服务器
  105.   yarn proxyserver
  108. 4) 获取/设置每个守护进程的日志级别
  109.   (1) yarn daemonlog -getlevel <host:port> <name>
  111.   (2) yarn daemonlog -setlevel <host:port> <name> <level>

三、Balancer 平衡数据

  • 增加节点后的平和数据
  1. hdfs getconf -confKey dfs.balance.bandwidthPerSec
  3. 查看存储节点情况
  4.   hdfs dfsadmin -report
  6. 设置负载的带宽
  7.   hdfs dfsadmin -setBalancerBandwidth 524288000
  9. 开始均衡 threshold 一般10， 即各个节点与集群总的存储使用率相差不超过10%，我们可将其设置为5%
  10.   $HADOOP_HOME/sbin/start-balancer.sh -threshold 5

四、平滑下节点

  • 下掉指定节点

1. 设置需要下的节点

  • 配置需要下的 data node 节点
  1.   <property>
  2.     <name>dfs.namenode.replication.work.multiplier.per.iteration</name>
  3.     <value>10</value>
  4.   </property>
  6.   <property>
  7.     <name>dfs.namenode.replication.max-streams</name>
  8.     <value>50</value>
  9.   </property>
  11.   <property>
  12.     <name>dfs.namenode.replication.max-streams-hard-limit</name>
  13.     <value>100</value>
  14.   </property>
  16.   <!-- 设置需要下的节点, 一行一行写节点 -->
  17.   <property>
  18.     <name>dfs.hosts.exclude</name>
  19.     <value>/home/hadoop/conf/excludes</value>
  20.   </property>
  22. yarn rmadmin -refreshNodes

* ucloud 重启节点 管理

1. 重启 resourcemanager 步骤

  2. 1. 查看节点状态
  3.   yarn rmadmin -getServiceState rm1
  4.   yarn rmadmin -getServiceState rm2
  6.   在状态是 standby 的节点修改配置 运行重启命令
  8. 2. 重启 resourcemanager 命令
  9.   sudo service hadoop-yarn-resourcemanager restart

2. 重启 nodemanager 步骤

  1. service hadoop-yarn-nodemanager restart