airflow.cfg 文件中是可以定义自己的变量的,比如说我们需要定义一下 Impala 数据连接的相关信息,就可以在 airflow.cfg 文件中进行定义,从而在脚本中进行使用。

1. 添加自定义配置信息

airflow.cfg 文件末尾添加:

  1. [impala]
  2. host = 1.1.1.1
  3. port = 20000
  4. user = yumingmin
  5. password = yumingmin
  6. auth_mechanism = PLAIN

2. Python脚本中进行使用

  1. import os
  2. import airflow
  3. print(airflow.configuration.get("impala", "user")) # yumingmin

注意:如果需要在调度中使用自定义变量,则需要重启 AirFlow,且一定要关闭 server-logs 服务。