[Airflow] 쉘 스크립트, 명령어 실행하기 | BashOperator 사용

BashOperator는 Apache Airflow에서 쉘 스크립트나 명령어를 실행하는 작업을 정의하는 데 사용되는 연산자이다. 이를 통해 외부 프로그램, 스크립트 또는 명령어를 실행하고 결과를 확인할 수 있다.

다음은 BashOperator를 사용하는 간단한 예제로, 간단한 Bash 스크립트를 실행하고 출력을 로깅한다.

from airflow import DAG
from airflow.operators.bash_operator import BashOperator
from datetime import datetime, timedelta

# DAG 정의
dag = DAG(
    'bash_operator_example',
    description='Example DAG with BashOperator',
    schedule_interval=timedelta(days=1),
    start_date=datetime(2023, 1, 1),
    catchup=False,
)

# Bash 스크립트 정의
bash_script = """
echo "Hello, Airflow!"
echo "Current date: $(date)"
"""

# BashOperator 정의
bash_task = BashOperator(
    task_id='bash_task',
    bash_command=bash_script,
    dag=dag,
)

# DAG 간의 의존성 설정
# 다른 작업들과의 의존성이 있다면 여기에 추가

# DAG 실행
if __name__ == "__main__":
    dag.cli()

• 이 예제에서 BashOperator를 생성할 때 task_id로 작업의 고유한 식별자를 설정하고, bash_command 매개변수에는 실행할 Bash 스크립트를 전달.
• 스크립트의 출력은 자동으로 Airflow 로그에 기록됨
• DAG 내에서 작업 간의 의존성을 설정하려면 필요한 작업의 task_id를 사용하여 의존성 연산자를 정의
• 이는 set_upstream, set_downstream, 또는 >>, << 연산자를 사용하여 수행할 수 있음

# 다른 작업 정의
other_task = ...

# BashOperator와 다른 작업 간의 의존성 설정
other_task >> bash_task  # 다른 작업이 Bash 작업보다 먼저 실행되도록 설정