전달하는 방법을 인수는 불꽃 작업 제출서류

가 트리거 pyspark 모듈에서 공기 흐름을 사용하여 sparksubmit 연산자입니다. 하지만,pyspark 모듈을 스파크 세션 변수입니다. 내가 사용 application_args 전달하는 매개변수를 pyspark 모듈이 있습니다. 지만,실행하는 경우 dag 불꽃 제출자가 받지 못했고 매개 변수가 전달된 것으로 간주도형 변수입니다. 하는 방법을 알아야 통과 인수 pyspark 모듈을 통해 트리거되 spark_submit_operator.

이 DAG 코드는 아래와 같이 있습니다:

from pyspark.sql import SparkSession
spark = SparkSession.builder.appName("PRJT").enableHiveSupport().getOrCreate()

spark_config = {
    'conn_id': 'spark_default',
    'driver_memory': '1g',
    'executor_cores': 1,
    'num_executors': 1,
    'executor_memory': '1g'
}

dag = DAG(
    dag_id="spark_session_prgm",
    default_args=default_args,
    schedule_interval='@daily',
    catchup=False)

spark_submit_task1 = SparkSubmitOperator(
    task_id='spark_submit_task1',
    application='/home/airflow_home/dags/tmp_spark_1.py',
    application_args=['spark'],
    **spark_config, dag=dag)

에서 샘플 코드 tmp_spark_1.py 프로그램: