본문 바로가기

💻 Programming87

[Airflow] 쉘 스크립트, 명령어 실행하기 | BashOperator 사용 BashOperator는 Apache Airflow에서 쉘 스크립트나 명령어를 실행하는 작업을 정의하는 데 사용되는 연산자이다. 이를 통해 외부 프로그램, 스크립트 또는 명령어를 실행하고 결과를 확인할 수 있다. 다음은 BashOperator를 사용하는 간단한 예제로, 간단한 Bash 스크립트를 실행하고 출력을 로깅한다. from airflow import DAG from airflow.operators.bash_operator import BashOperator from datetime import datetime, timedelta # DAG 정의 dag = DAG( 'bash_operator_example', description='Example DAG with BashOperator', sched.. 2023. 11. 19.

[Airflow] 일정한 간격으로 DAG 실행하기 (스케줄링) | schedule_interval | cron 기반 스케줄 Apache Airflow에서 DAG을 일정한 간격으로 실행하려면 schedule_interval 매개변수를 사용한다. 이 매개변수는 DAG이 실행될 주기를 나타내고, 주기는 timedelta 객체로 정의된다. 예를 들어, 매일 실행하려면 timedelta(days=1)과 같이 정의할 수 있다. timedelta를 사용하는 몇 가지 예제를 살펴보자. timedelta # 매일 실행 schedule_interval=timedelta(days=1) # 3일마다 실행 schedule_interval=timedelta(days=3) # 매주 월요일 실행 schedule_interval=timedelta(weeks=1, days=1) # 매시간 실행 schedule_interval=timedelta(hours=1.. 2023. 11. 19.

[Airflow] Airflow & DAG 설명 Apache Airflow Apache Airflow는 데이터 파이프라인을 관리하고 스케줄링하기 위한 오픈 소스 플랫폼이다. Airflow는 파이썬 코드를 이용해 파이프라인을 구현할 수 있기에 파이썬 언어로 구현할 수 있는 대부분의 방법을 사용하여 여러 커스텀 파이프라인을 만들 수 있다. 또한 쉽게 확장 가능하고 다양한 시스템과 통합이 가능하다. 수많은 스케줄링 기법으로 파이프라인을 정기적으로 실행하고 점진적 처리가 가능하고 오픈 소스라는 장점이 있기 때문에 많은 기업에서 Airflow를 사용하고 있다. (데이터 파이프라인은 데이터 처리 작업을 조직하고 실행하기 위한 일련의 단계 및 프로세스) Apache Airflow의 특징 스케줄링과 모니터링 Airflow는 작업을 스케줄링하고 감시하는 데 사용됨 예.. 2023. 11. 19.

[pandas] 특정 컬럼에서 특정 문자열이 포함된 행 찾기 | str.contains 판다스에서는 특정 컬럼에서 특정 문자열이 포함된 행을 찾을 수 있습니다. 이를 위해서는 해당 컬럼의 문자열에 대해 str.contains() 메서드를 사용할 수 있습니다. str.contains() 기본 사용법 contains_apple = df[df['컬럼 A'].str.contains('가나다라')] "컬럼 A"에서 "가나다라"가 포함된 행을 찾기 위해서는 위와 같이 사용하면 된다. 정규 표현식 사용 contains_pattern = df[df['A'].str.contains('사과|바나나', regex=True)] regex=True 로 설정하여 정규 표현식을 사용할 수 있다. 예를 들어, 특정 패턴이나 문자열을 정규 표현식으로 지정하여 검색할 수 있다. 위 예시는 '사과' 또는 '바나나'가 포함된.. 2023. 11. 17.

[pandas] 특정 컬럼의 값이 공백인 행을 제외하는 방법 | dropna 판다스의 데이터프레임에서 특정 컬럼의 값이 공백(또는 빈 문자열)인 행을 제외하고 싶을 때 어떻게 하면 되는지 알아보자. 특정 컬럼의 공백인 행 제거 import pandas as pd # 샘플 데이터프레임 생성 data = {'A': [1, 2, 3, 4], 'B': ['apple', 'banana', '', 'orange']} df = pd.DataFrame(data) # 'B' 컬럼의 값이 공백인 행 제외 df_no_empty_values = df[df['B'].str.strip() != ''] # 결과 출력 print(df_no_empty_values) 위 코드에서 df['B'].str.strip() != '' 부분은 'B' 컬럼의 각 값에 대해 좌우의 공백을 제거하고 빈 문자열과 비교하여 공백인.. 2023. 11. 17.

[pandas] 특정 컬럼에서 중복된 값 제거 | drop_duplicates 판다스 데이터프레임에서 간혹 특정 컬럼에 중복된 값을 제거하고 싶은 경우가 있다. 만약 중복된 값을 가진 행 중 처음 등장하는 행을 제외하고 나머지 중복된 행을 모두 제거하고 싶다면 다음과 같은 방법을 사용할 수 있다. import pandas as pd # 샘플 데이터프레임 생성 data = {'column_name': [1, 2, 3, 1, 2, 4]} df = pd.DataFrame(data) # 중복된 값을 가진 행 중 처음 등장하는 행을 제외하고 나머지 중복된 행 제거 df_no_duplicates = df.drop_duplicates(subset='column_name', keep='first') # 결과 출력 print(df_no_duplicates) # 행 개수 비교 print(len(df.. 2023. 11. 17.

이전 1 2 3 4 5 6 ··· 15 다음

티스토리툴바