关于python:如何更改Airflow Web ui的dag bag文件夹?

How to change the dag bag folder for Airflow web ui?

Airflow调度程序正在按照airflow.cfg文件中的设置从正确的文件夹中提取垃圾邮件。但是,Airflow ui Web服务器从错误的文件夹中选择了垃圾邮件。
通过查看运行气流Web服务器的终端的标准输出,我意识到了这一点:[2018-10-08 14:26:48,519] [15535] {models.py:167} INFO - Filling up the DagBag from /home/aviral/airflow/dags

注意,我的airflow.cfg文件具有:

1
2
3
4
# The folder where your airflow pipelines live, most likely a
# subfolder in a code repository
# This path must be absolute
dags_folder = /home/aviral/dev/airflow_learning/airflow_home/dags


在我看来,您有多个Airflow安装。我认为您必须在"管理"->"配置"菜单中检查UI。

这将告诉您哪个气流处于活动状态,并将其设置为AIRFLOW_HOMEAIRFLOW_CONFIG

如果未设置AIRFLOW_CONFIG环境变量,它将始终默认为您的主目录。您必须将其设置为如下所示:
AIRFLOW_CONFIG=$AIRFLOW_HOME/airflow.cfg


使用以下命令更改Dag文件夹。

打开终端的.bashrc或.zshrc用户文件

1
vi ~/.bashrc

在文件中添加以下命令

1
2
 export AIRFLOW_HOME='/var/www/html/airflow'
 export AIRFLOW_CONFIG=$AIRFLOW_HOME/airflow.cfg

使用以下命令运行.bashrc文件。

1
source ~/.bashrc

现在,如果您运行气流Web服务器,它将从AIRFLOW_HOME / dags目录中选择dag。