在 airflow.cfg 文件中是可以定义自己的变量的,比如说我们需要定义一下 Impala 数据连接的相关信息,就可以在 airflow.cfg 文件中进行定义,从而在脚本中进行使用。
1. 添加自定义配置信息
在 airflow.cfg 文件末尾添加:
[impala]
host = 1.1.1.1
port = 20000
user = yumingmin
password = yumingmin
auth_mechanism = PLAIN
2. Python脚本中进行使用
import os
import airflow
print(airflow.configuration.get("impala", "user")) # yumingmin
注意:如果需要在调度中使用自定义变量,则需要重启 AirFlow,且一定要关闭 server-logs 服务。