Slurm 集群作业管理

Slurm 命令

1作业提交

链接

用户使用sbatch命令提交作业脚本，其基本格式为sbatch jobfile。jobfile为作业脚本文件。在批处理作业脚本中，脚本第一行以”#!”字符开头，并指定脚本文件的解释程序，如 sh，bash。接下来写作业使用到的调度系统参数，以#开头，最后写作业运行的程序命令。
用户可使用sbatch命令提交用户作业脚本。示例如下

sbatch  xxx.sbatch

作业提交脚本格式编写如下，作业控制指令以”#SBATCH”开头，其他注释以”#”开头。例如wrf测试脚本run.sbatch如下：

#!/bin/bash
#SBATCH -J wrf
#SBATCH --comment=WRF
#SBATCH -n 128
#SBATCH --ntasks-per-node=32
#SBATCH -p normal
#SBATCH -o %j
#SBATCH -e %j

sbatch常用选项

作业控制参数如下：

2作业查询

链接

用户使用squeue命令可以查看作业信息，例如acdnrbtv用户执行命令，输出如下：

squeue
             JOBID PARTITION     NAME     USER ST       TIME  NODES NODELIST(REASON)
           4741409 xhacnorma      wrf acdnrbtv  R      27:44      4 haba[0135-0138]

其中JOBID表示任务ID编号，PARTITION表示作业所在队列（分区），NAME表示任务名称，USER为用户，ST为作业状态，TIME为已运行时间，NODES表示占用节点数，NODELIST(REASON)为任务运行的节点列表或者原因说明。另外，状态列中R-Runing（正在运行），PD-PenDing（资源不足，排队中），CG-COMPLETING(作业正在完成中)，CA-CANCELLED（作业被人为取消），CD-COMPLETED（作业运行完成），F-FAILED 作业运行失败，NF-NODE_FAIL节点问题导致作业运行失败，PR 作业被抢占，S 作业被挂起，TO 作业超时被杀。

作业状态

3队列信息查询

分区信息查询-sinfo

用户在使用时，首先需要了解哪些分区可以使用。在计算服务中，使用sinfo命令查询队列信息。根据命令输出，可以看到当前节点所在集群的作业调度系统的队列情况，并可看到每个分区可访问的空闲节点数量、节点名称。
命令的默认输出中，PARTITION表示分区、NODES表示节点数、STATE表示节点运行状态、NODELIST表示节点列表。其中状态一列中idle表示节点处于空闲状态，可接收新的作业；allocated表示节点已经分配了一个或者多个作业且所有核心用满，在作业释放前不能再被分配作业；mix状态为使用部分核心，仍可以被分配作业；drain状态表示对应节点已经下线；drng表示已下线但仍有作业在运行。需要关注的是PARTITION和STATE两列。PARTITION指示任务可提交到的分区（即队列）。下表列出关于sinfo命令常用选项，更多选项可通过man sinfo命令查看sinfo手册。