[Airflow] 일정한 간격으로 DAG 실행하기 (스케줄링) | schedule_interval | cron 기반 스케줄

Apache Airflow에서 DAG을 일정한 간격으로 실행하려면 schedule_interval 매개변수를 사용한다. 이 매개변수는 DAG이 실행될 주기를 나타내고, 주기는 timedelta 객체로 정의된다. 예를 들어, 매일 실행하려면 timedelta(days=1)과 같이 정의할 수 있다.

 

timedelta를 사용하는 몇 가지 예제를 살펴보자.

 

timedelta

# 매일 실행
schedule_interval=timedelta(days=1)

# 3일마다 실행
schedule_interval=timedelta(days=3)

# 매주 월요일 실행
schedule_interval=timedelta(weeks=1, days=1) 

# 매시간 실행
schedule_interval=timedelta(hours=1)

# 매분 실행
schedule_interval=timedelta(minutes=1)

 

 

 

스케줄 프리셋

Apache Airflow에서는 DAG의 schedule_interval에 미리 정의된 스케줄 프리셋을 사용할 수도 있다. 이러한 프리셋은 주로 간단한 형태의 주기를 쉽게 정의할 수 있도록 도와준다. 

# 한 번만 실행
schedule_interval='@once'

# 매 시간 실행
schedule_interval='@hourly'

# 매일 자정에 실행
schedule_interval='@daily'

# 매주 일요일 자정에 실행
schedule_interval='@weekly'

# 매월 1일 자정에 실행
schedule_interval='@monthly'

# 매년 1월 1일 자정에 실행
schedule_interval='@yearly'

 

 

Cron 기반 스케줄 간격 설정

앞서 살펴본 예시보다 더 디테일한 스케줄 간격을 설정하고 싶을 때는 cron과 동일한 구문을 사용해 스케줄 간격을 정의할 수 있다. 예를 들어 매주 금요일 10시 30분에 DAG를 실행하고 싶은 경우에 말이다.

 

cron 구문은 5개의 구성 요소가 있으며 다음과 같이 정의 된다.

• * * * * * (분(0~59), 시간(0~23), 일(1~31), 월(1~12), 요일(0~6)(일~토))
• 위 정의에서 cron job은 시간과 날짜가 해당 필드의 값과 시스템 시간이 일치할 때 실행됨
• 숫자 대신 애스터리스크(*)로 제한되지 않은 필드로 정의하여 신경쓰지 않는다고 표시할 수 있음
• 예시
  • 0 * * * * = 매시간 (정시에 실행)
  • 0 0 * * * = 매일 (자정에 실행)
  • 0 0  * * 0 = 매주 (일요일 자정에 실행)
  • 30 22 * * SAT = 매주 토요일 22시 30분에 실행 

 

다소 복잡하고 헷갈리긴 하지만 cron 구문을 사용하면 디테일한 시간 간격을 정의할 때 굉장히 유용하다.

---

DAG 실행 예제 

from airflow import DAG
from airflow.operators.python_operator import PythonOperator
from datetime import datetime, timedelta

# DAG 정의
dag = DAG(
    'my_daily_dag',
    description='My daily DAG example',
    schedule_interval=timedelta(days=1),  # 매일 실행
    start_date=datetime(2023, 1, 1),
    catchup=False,  # 과거 실행에서 누락된 작업을 재실행하지 않음
)

# 작업 정의
def my_python_function():
    print("Executing my Python function")

# DAG에 작업 추가
my_task = PythonOperator(
    task_id='my_task',
    python_callable=my_python_function,
    dag=dag,
)

• 이 DAG은 schedule_interval=timedelta(days=1)로 설정되어 있으므로 매일 자정에 실행됨
• start_date는 DAG의 최초 실행 날짜를 정의
• catchup=False는 과거의 실행에서 누락된 작업을 재실행하지 않도록 설정