리눅스 명령어에서 리디렉션은 명령의 입력이나 출력을 파일이나 다른 장치로 보내거나 받을 수 있게 해주는 기능이다. 아래에서 몇 가지 주요한 리디렉션 기능을 설명한다. > (Output Redirection) echo "Hello, Linux" > greeting.txt 명령의 표준 출력을 파일로 리디렉션한다. 예제에서는 "Hello, Linux"라는 텍스트를 greeting.txt 파일로 리디렉션한다. 만약 greeting.txt 파일이 이미 존재하면 덮어쓰고, 없다면 새로운 파일을 생성한다. >> (Append Output) echo "Additional text" >> greeting.txt 명령의 표준 출력을 파일에 추가한다. 예제에서는 "Additional text"를 greeting.txt 파일..

ss 명령어는 Linux 시스템에서 소켓(네트워크 소켓)과 관련된 정보를 표시하는 유틸리티로 소켓 통계와 현재 열려 있는 소켓의 상태를 확인하는 데 사용된다. ss 명령어는 netstat 명령어와 유사한 목적을 가지고 있지만, 더 빠르고 효율적인 동작을 제공한다. ss [options] 여기서 options는 ss 명령어에 전달할 수 있는 다양한 옵션을 나타낸다. 자주 사용되는 옵션은 다음과 같다. -t, --tcp: TCP 소켓 정보 표시 -u, --udp: UDP 소켓 정보 표시 -a, --all: 모든 소켓 정보 표시 -n, --numeric: 주소 및 포트를 숫자로 표시 -p, --processes: 소켓을 사용 중인 프로세스 정보 표시 -l, --listening: 리스닝 소켓 정보 표시 -r,..

Apache Airflow의 SqlSensor는 데이터베이스 쿼리의 결과를 감시하고, 특정 조건이 충족될 때까지 작업을 일시 중지하는 역할을 합니다. 이 센서는 주로 데이터베이스 쿼리의 결과를 확인하여 특정 값이나 조건이 충족되었는지를 확인하는 데 사용됩니다. SqlSensor 사용 방법 from airflow.sensors.sql import SqlSensor sql_sensor_task = SqlSensor( task_id='sql_sensor_task', conn_id='your_database_connection_id', # 데이터베이스 연결 ID sql='SELECT COUNT(*) FROM your_table WHERE your_condition;', # 감시할 쿼리 mode='poke', #..

1. Airflow 설치 pip install apache-airflow 2. Airflow 설정 cd airflow airflow db init mkdir dags 만들어진 airflow 폴더로 들어가서 db를 init 해주고 dags 폴더를 생성 airflow users create -u admin -p admin -f Clueless -l Coder -r Admin -e admin@admin.com 관리자 계정 생성 3. Airflow 실행 airflow webserver -p 8080 8080 포트로 에어플로우 실행 'localhost:8080' 로 접속 4. Airflow 웹 인터페이스 Apache Airflow 웹서버는 Airflow 워크플로우의 시각화, 모니터링 및 관리를 위한 사용자 인터페..

PythonOperator는 Apache Airflow에서 Python 함수를 실행하는 작업을 정의하는 데 사용되는 연산자이다. 이를 통해 Python 함수를 호출하여 데이터 처리, 계산, 또는 사용자 지정 작업을 수행할 수 있다. 아래는 PythonOperator를 사용하는 간단한 예제이다. from airflow import DAG from airflow.operators.python_operator import PythonOperator from datetime import datetime, timedelta # DAG 정의 dag = DAG( 'python_operator_example', description='Example DAG with PythonOperator', schedule_inte..

BashOperator는 Apache Airflow에서 쉘 스크립트나 명령어를 실행하는 작업을 정의하는 데 사용되는 연산자이다. 이를 통해 외부 프로그램, 스크립트 또는 명령어를 실행하고 결과를 확인할 수 있다. 다음은 BashOperator를 사용하는 간단한 예제로, 간단한 Bash 스크립트를 실행하고 출력을 로깅한다. from airflow import DAG from airflow.operators.bash_operator import BashOperator from datetime import datetime, timedelta # DAG 정의 dag = DAG( 'bash_operator_example', description='Example DAG with BashOperator', sched..