Jupyter

Overview

Jupyter任务类型，用于创建并执行Jupyter类型任务。worker 执行该任务的时候，会通过papermill执行jupyter note。 点击这里 获取更多关于papermill的信息。

Conda Configuration

• 在common.properties配置conda.path，将其指向您的conda.sh。这里的conda应该是您用来管理您的 papermill和jupyter所在python环境的相同conda。 点击 这里 获取更多关于conda的信息.
• conda.path默认设置为/opt/anaconda3/etc/profile.d/conda.sh。 如果您不清楚您的conda环境在哪里，只需要在命令行执行conda info | grep -i 'base environment'即可获得。

Create Task

• 点击项目管理-项目名称-工作流定义，点击”创建工作流”按钮，进入DAG编辑页面。
• 工具栏中拖动 到画板中，即可完成创建。

Task Parameter

• 任务名称：设置任务的名称。一个工作流定义中的节点名称是唯一的。
• 运行标志：标识这个节点是否能正常调度,如果不需要执行，可以打开禁止执行开关。
• 描述：描述该节点的功能。
• 任务优先级：worker线程数不足时，根据优先级从高到低依次执行，优先级一样时根据先进先出原则执行。
• Worker分组：任务分配给worker组的机器机执行，选择Default，会随机选择一台worker机执行。
• 失败重试次数：任务失败重新提交的次数，支持下拉和手填。
• 失败重试间隔：任务失败重新提交任务的时间间隔，支持下拉和手填。
• 超时告警：勾选超时告警、超时失败，当任务超过”超时时长”后，会发送告警邮件并且任务执行失败.
• 前置任务：选择当前任务的前置任务，会将被选择的前置任务设置为当前任务的上游。
• Conda Env Name: Conda环境名称。
• Input Note Path: 输入的jupyter note模板路径。
• Out Note Path: 输出的jupyter note路径。
• Jupyter Parameters: 用于对接jupyter note参数化的JSON格式参数。
• Kernel: Jupyter notebook 内核。
• Engine: 用于执行Jupyter note的引擎名称。
• Jupyter Execution Timeout: 对于每个jupyter notebook cell设定的超时时间。
• Jupyter Start Timeout: 对于jupyter notebook kernel设定的启动超时时间。
• Others: 传入papermill命令的其他参数。

Task Example

Jupyter Task Example

这个示例展示了如何创建Jupyter任务节点：