1. 任务无法调度

1.1 任务有操作Windows共享的部分

👻 背景描述:最近在部署一个任务,代码某一部分的功能是将结果写入到指定 Windows 共享文件夹。采用的方式是将指定共享挂载到该项目文件夹下,首次部署后调度以及接下来2-3天调度都没有出现过问题。中途由于需要对代码做一定的修改,以及调度时间进行调整,结果发现 Airflow 上代码没有进行同步和更新,且更改之后调度都无法起来。

👺 原因解释:如果 DAG 项目下挂载了 Windows 共享文件夹,对代码进行修改后,Airflow 是无法更新的,导致任务还是会显示在 UI 界面上,但是 Airflow 一直不进行调度。原因很简单,就是 Airflow 认的是未做修改的 DAG 文件,但现有的 DAG 文件代码已经修改了,所以 Airflow 找不到对应的执行文件。

🤖 解决办法:如果 DAG 需要对 Windows 共享进行操作,那么千万不要将共享挂载在项目内,可以放在 airflow/dags 之外的任何地方。