공기 흐름을 만들기 DAG 에서 별도의 파일

0

질문

에서 기류,내가 만들려고 노력하는 기능에 전념하고 생성 Dag 에서 파일

dynamic_dags.py:

def generate_dag(name):
    with DAG(
        dag_id=f'dag_{name}',
        default_args=args,
        start_date=days_ago(2),
        schedule_interval='5 5 * * *',
        tags=['Test'],
        catchup=False
    ) as dag:
        dummy_task=DummyOperator(
            task_id="dynamic_dummy_task",
            dag=dag
        )
    return dag

그런 다음 다른 파일에 있는 내가 가져오려고 하 dag 에서 별도의 파일:

load_dags.py:

from dynamic_dag import generate_dag
globals()["Dynamic_DAG_A"] = generate_dag('A')

그러나,dag 은 표시되지 않은 web UI. 하지만 내가 그들을에 하나의 파일로 아래 코드는,작동합니다:

def generate_dag(name):
    with DAG(
        dag_id=f'dag_{name}',
        default_args=args,
        start_date=days_ago(2),
        schedule_interval='5 5 * * *',
        tags=['Test'],
        catchup=False
    ) as dag:
        dummy_task=DummyOperator(
            task_id="dynamic_dummy_task",
            dag=dag
        )
    return dag

globals()["Dynamic_DAG_A"] = generate_dag('A')

저는 왜 그 일을에서 두 개의 파일이 작동하지 않습니다.

airflow airflow-scheduler
2021-11-21 00:44:01
1

최고의 응답

1

내가 생각하는 경우에 당신은 당신을 사용하여 공기 1.10,다음 DAG 파일 포함 DAG 고 airlfow:

https://airflow.apache.org/docs/apache-airflow/1.10.15/concepts.html?highlight=airflowignore#dags

를 검색할 때 Dag,공기 흐름만 고려 python 가 포함된 파일에 문자열"공기"와"DAG"기본적으로 합니다. 모두 고려하는 파이썬은 대신 파일을 사용하지 않 DAG_DISCOVERY_SAFE_MODE 구성 국기입니다.

에서류 2 의 변경(약간-dag 대/소문자를 구분하지 않습니다):

https://airflow.apache.org/docs/apache-airflow/2.2.2/concepts/dags.html

를 검색할 때 Dag 내부 DAG_FOLDER,공기 흐름만 고려 Python 가 포함된 파일에 문자열을류 및 dag(케이스 대/소문자를 구분하지 않고)으로 최적화에 도움이 됩니다. 모두 고려하는 파이썬은 대신 파일을 사용하지 않 DAG_DISCOVERY_SAFE_MODE 구성 국기입니다.

내가 생각하는 당신은 단순히 당신이 놓치'기류에 당신 load_dags.py. 추가할 수 있습니다 그것은 어디에 있든 포함한다.

2021-11-21 19:02:47

다른 언어로

이 페이지는 다른 언어로되어 있습니다

Русский
..................................................................................................................
Italiano
..................................................................................................................
Polski
..................................................................................................................
Română
..................................................................................................................
हिन्दी
..................................................................................................................
Français
..................................................................................................................
Türk
..................................................................................................................
Česk
..................................................................................................................
Português
..................................................................................................................
ไทย
..................................................................................................................
中文
..................................................................................................................
Español
..................................................................................................................
Slovenský
..................................................................................................................