ss 명령어는 Linux 시스템에서 소켓(네트워크 소켓)과 관련된 정보를 표시하는 유틸리티로 소켓 통계와 현재 열려 있는 소켓의 상태를 확인하는 데 사용된다. ss 명령어는 netstat 명령어와 유사한 목적을 가지고 있지만, 더 빠르고 효율적인 동작을 제공한다. ss [options] 여기서 options는 ss 명령어에 전달할 수 있는 다양한 옵션을 나타낸다. 자주 사용되는 옵션은 다음과 같다. -t, --tcp: TCP 소켓 정보 표시 -u, --udp: UDP 소켓 정보 표시 -a, --all: 모든 소켓 정보 표시 -n, --numeric: 주소 및 포트를 숫자로 표시 -p, --processes: 소켓을 사용 중인 프로세스 정보 표시 -l, --listening: 리스닝 소켓 정보 표시 -r,..

Apache Airflow의 SqlSensor는 데이터베이스 쿼리의 결과를 감시하고, 특정 조건이 충족될 때까지 작업을 일시 중지하는 역할을 합니다. 이 센서는 주로 데이터베이스 쿼리의 결과를 확인하여 특정 값이나 조건이 충족되었는지를 확인하는 데 사용됩니다. SqlSensor 사용 방법 from airflow.sensors.sql import SqlSensor sql_sensor_task = SqlSensor( task_id='sql_sensor_task', conn_id='your_database_connection_id', # 데이터베이스 연결 ID sql='SELECT COUNT(*) FROM your_table WHERE your_condition;', # 감시할 쿼리 mode='poke', #..

1. Airflow 설치 pip install apache-airflow 2. Airflow 설정 cd airflow airflow db init mkdir dags 만들어진 airflow 폴더로 들어가서 db를 init 해주고 dags 폴더를 생성 airflow users create -u admin -p admin -f Clueless -l Coder -r Admin -e admin@admin.com 관리자 계정 생성 3. Airflow 실행 airflow webserver -p 8080 8080 포트로 에어플로우 실행 'localhost:8080' 로 접속 4. Airflow 웹 인터페이스 Apache Airflow 웹서버는 Airflow 워크플로우의 시각화, 모니터링 및 관리를 위한 사용자 인터페..

PythonOperator는 Apache Airflow에서 Python 함수를 실행하는 작업을 정의하는 데 사용되는 연산자이다. 이를 통해 Python 함수를 호출하여 데이터 처리, 계산, 또는 사용자 지정 작업을 수행할 수 있다. 아래는 PythonOperator를 사용하는 간단한 예제이다. from airflow import DAG from airflow.operators.python_operator import PythonOperator from datetime import datetime, timedelta # DAG 정의 dag = DAG( 'python_operator_example', description='Example DAG with PythonOperator', schedule_inte..

BashOperator는 Apache Airflow에서 쉘 스크립트나 명령어를 실행하는 작업을 정의하는 데 사용되는 연산자이다. 이를 통해 외부 프로그램, 스크립트 또는 명령어를 실행하고 결과를 확인할 수 있다. 다음은 BashOperator를 사용하는 간단한 예제로, 간단한 Bash 스크립트를 실행하고 출력을 로깅한다. from airflow import DAG from airflow.operators.bash_operator import BashOperator from datetime import datetime, timedelta # DAG 정의 dag = DAG( 'bash_operator_example', description='Example DAG with BashOperator', sched..

Apache Airflow에서 DAG을 일정한 간격으로 실행하려면 schedule_interval 매개변수를 사용한다. 이 매개변수는 DAG이 실행될 주기를 나타내고, 주기는 timedelta 객체로 정의된다. 예를 들어, 매일 실행하려면 timedelta(days=1)과 같이 정의할 수 있다. timedelta를 사용하는 몇 가지 예제를 살펴보자. timedelta # 매일 실행 schedule_interval=timedelta(days=1) # 3일마다 실행 schedule_interval=timedelta(days=3) # 매주 월요일 실행 schedule_interval=timedelta(weeks=1, days=1) # 매시간 실행 schedule_interval=timedelta(hours=1..