본문 바로가기

💻 Programming87

[Linux] 환경 변수 설명 | 시스템 전체 또는 특정 사용자에 대한 설정 정보를 저장하는 변수 리눅스의 환경변수는 시스템 전체 또는 특정 사용자에 대한 설정 정보를 저장하는 데 사용되는 변수이다. 이러한 변수들은 명령 실행 시에 사용자의 환경을 구성하거나 프로그램이 실행될 때에 영향을 미치기 때문에 해당 환경에서 실행되는 프로세스가 모두 참조할 수 있다. 대부분 대문자로 작성되며, 일반적으로 설정값이나 경로와 같은 정보를 담고 있다. 환경 변수는 주로 다음과 같은 작업을 위해 사용한다고 보면 된다. 자주 사용하는 경로를 지정 기존에 있는 변수를 이용해 새로운 변수를 지정 프로세스가 구동 중에 참조할 값을 미리 환경변수에 할당하고 프로세스를 실행 여러개의 프로세스가 참조해야 하는 값을 환경변수에 할당 환경 변수를 임시로 선언하는 방법 환경 변수를 임시로 선언하려면 export 명령어를 사용한다. 임.. 2023. 11. 27.

[Linux] Redirection (리디렉션) | 명령어의 입력이나 출력을 파일로 주고 받을 수 있는 기능 리눅스 명령어에서 리디렉션은 명령의 입력이나 출력을 파일이나 다른 장치로 보내거나 받을 수 있게 해주는 기능이다. 아래에서 몇 가지 주요한 리디렉션 기능을 설명한다. > (Output Redirection) echo "Hello, Linux" > greeting.txt 명령의 표준 출력을 파일로 리디렉션한다. 예제에서는 "Hello, Linux"라는 텍스트를 greeting.txt 파일로 리디렉션한다. 만약 greeting.txt 파일이 이미 존재하면 덮어쓰고, 없다면 새로운 파일을 생성한다. >> (Append Output) echo "Additional text" >> greeting.txt 명령의 표준 출력을 파일에 추가한다. 예제에서는 "Additional text"를 greeting.txt 파일.. 2023. 11. 27.

[Linux] 네트워크 활용을 위한 ss 명령어 설명 ss 명령어는 Linux 시스템에서 소켓(네트워크 소켓)과 관련된 정보를 표시하는 유틸리티로 소켓 통계와 현재 열려 있는 소켓의 상태를 확인하는 데 사용된다. ss 명령어는 netstat 명령어와 유사한 목적을 가지고 있지만, 더 빠르고 효율적인 동작을 제공한다. ss [options] 여기서 options는 ss 명령어에 전달할 수 있는 다양한 옵션을 나타낸다. 자주 사용되는 옵션은 다음과 같다. -t, --tcp: TCP 소켓 정보 표시 -u, --udp: UDP 소켓 정보 표시 -a, --all: 모든 소켓 정보 표시 -n, --numeric: 주소 및 포트를 숫자로 표시 -p, --processes: 소켓을 사용 중인 프로세스 정보 표시 -l, --listening: 리스닝 소켓 정보 표시 -r,.. 2023. 11. 26.

[Airflow] DB 쿼리의 결과를 감시하고, 특정 조건이 충족될 때까지 작업을 일시 중지하는 기능 | SqlSensor Apache Airflow의 SqlSensor는 데이터베이스 쿼리의 결과를 감시하고, 특정 조건이 충족될 때까지 작업을 일시 중지하는 역할을 합니다. 이 센서는 주로 데이터베이스 쿼리의 결과를 확인하여 특정 값이나 조건이 충족되었는지를 확인하는 데 사용됩니다. SqlSensor 사용 방법 from airflow.sensors.sql import SqlSensor sql_sensor_task = SqlSensor( task_id='sql_sensor_task', conn_id='your_database_connection_id', # 데이터베이스 연결 ID sql='SELECT COUNT(*) FROM your_table WHERE your_condition;', # 감시할 쿼리 mode='poke', #.. 2023. 11. 20.

[Airflow] 에어플로우 설치 및 웹 인터페이스 실행하기 1. Airflow 설치 pip install apache-airflow 2. Airflow 설정 cd airflow airflow db init mkdir dags 만들어진 airflow 폴더로 들어가서 db를 init 해주고 dags 폴더를 생성 airflow users create -u admin -p admin -f Clueless -l Coder -r Admin -e admin@admin.com 관리자 계정 생성 3. Airflow 실행 airflow webserver -p 8080 8080 포트로 에어플로우 실행 'localhost:8080' 로 접속 4. Airflow 웹 인터페이스 Apache Airflow 웹서버는 Airflow 워크플로우의 시각화, 모니터링 및 관리를 위한 사용자 인터페.. 2023. 11. 20.

[Airflow] Python 함수 실행하기 | PythonOperator 사용 PythonOperator는 Apache Airflow에서 Python 함수를 실행하는 작업을 정의하는 데 사용되는 연산자이다. 이를 통해 Python 함수를 호출하여 데이터 처리, 계산, 또는 사용자 지정 작업을 수행할 수 있다. 아래는 PythonOperator를 사용하는 간단한 예제이다. from airflow import DAG from airflow.operators.python_operator import PythonOperator from datetime import datetime, timedelta # DAG 정의 dag = DAG( 'python_operator_example', description='Example DAG with PythonOperator', schedule_inte.. 2023. 11. 19.

이전 1 2 3 4 5 ··· 15 다음

티스토리툴바