Apache Airflow Apache Airflow는 데이터 파이프라인을 관리하고 스케줄링하기 위한 오픈 소스 플랫폼이다. Airflow는 파이썬 코드를 이용해 파이프라인을 구현할 수 있기에 파이썬 언어로 구현할 수 있는 대부분의 방법을 사용하여 여러 커스텀 파이프라인을 만들 수 있다. 또한 쉽게 확장 가능하고 다양한 시스템과 통합이 가능하다. 수많은 스케줄링 기법으로 파이프라인을 정기적으로 실행하고 점진적 처리가 가능하고 오픈 소스라는 장점이 있기 때문에 많은 기업에서 Airflow를 사용하고 있다. (데이터 파이프라인은 데이터 처리 작업을 조직하고 실행하기 위한 일련의 단계 및 프로세스) Apache Airflow의 특징 스케줄링과 모니터링 Airflow는 작업을 스케줄링하고 감시하는 데 사용됨 예..

판다스에서는 특정 컬럼에서 특정 문자열이 포함된 행을 찾을 수 있습니다. 이를 위해서는 해당 컬럼의 문자열에 대해 str.contains() 메서드를 사용할 수 있습니다. str.contains() 기본 사용법 contains_apple = df[df['컬럼 A'].str.contains('가나다라')] "컬럼 A"에서 "가나다라"가 포함된 행을 찾기 위해서는 위와 같이 사용하면 된다. 정규 표현식 사용 contains_pattern = df[df['A'].str.contains('사과|바나나', regex=True)] regex=True 로 설정하여 정규 표현식을 사용할 수 있다. 예를 들어, 특정 패턴이나 문자열을 정규 표현식으로 지정하여 검색할 수 있다. 위 예시는 '사과' 또는 '바나나'가 포함된..

판다스의 데이터프레임에서 특정 컬럼의 값이 공백(또는 빈 문자열)인 행을 제외하고 싶을 때 어떻게 하면 되는지 알아보자. 특정 컬럼의 공백인 행 제거 import pandas as pd # 샘플 데이터프레임 생성 data = {'A': [1, 2, 3, 4], 'B': ['apple', 'banana', '', 'orange']} df = pd.DataFrame(data) # 'B' 컬럼의 값이 공백인 행 제외 df_no_empty_values = df[df['B'].str.strip() != ''] # 결과 출력 print(df_no_empty_values) 위 코드에서 df['B'].str.strip() != '' 부분은 'B' 컬럼의 각 값에 대해 좌우의 공백을 제거하고 빈 문자열과 비교하여 공백인..

판다스 데이터프레임에서 간혹 특정 컬럼에 중복된 값을 제거하고 싶은 경우가 있다. 만약 중복된 값을 가진 행 중 처음 등장하는 행을 제외하고 나머지 중복된 행을 모두 제거하고 싶다면 다음과 같은 방법을 사용할 수 있다. import pandas as pd # 샘플 데이터프레임 생성 data = {'column_name': [1, 2, 3, 1, 2, 4]} df = pd.DataFrame(data) # 중복된 값을 가진 행 중 처음 등장하는 행을 제외하고 나머지 중복된 행 제거 df_no_duplicates = df.drop_duplicates(subset='column_name', keep='first') # 결과 출력 print(df_no_duplicates) # 행 개수 비교 print(len(df..

판다스(Pandas) 판다스(Pandas)는 파이썬에서 데이터 조작과 분석을 위한 라이브러리로, 특히 표 형식의 데이터를 다루기에 용이하다. 판다스의 주요 자료구조인 데이터프레임(DataFrame)은 행과 열로 이루어진 테이블 형식의 데이터를 다루기 위한 자료구조로 데이터를 다룰 때 자주 사용된다. 데이터프레임 생성 import pandas as pd # 2차원 리스트로 데이터프레임 생성 data = [ ['Alice', 25, 'New York'], ['Bob', 30, 'San Francisco'], ['Charlie', 35, 'Los Angeles'] ] df = pd.DataFrame(data, columns=['Name', 'Age', 'City']) 판다스의 pd.DataFrame() 함수를..

데이터 파일이 콤마나 탭으로 구분된 csv, tsv 등의 파일 형태이면, pd.read_csv(file_path) 또는 pd.read_table(file_path, sep='\t') 을 파일을 읽어 바로 데이터프레임으로 사용할 수 있다. 하지만, 간혹 비정형 데이터를 테이블 형태로 가공 후 데이터프레임으로 변환하고 싶을 때가 있는데, 생각보다 매우 간단하다. pd.DataFrame()을 사용하고, columns 만 지정해주면 된다. 2차원 리스트 → 데이터프레임 변환 예시 import pandas as pd # 2차원 리스트 data = [ ['Alice', 25, 'New York'], ['Bob', 30, 'San Francisco'], ['Charlie', 35, 'Los Angeles'] ] # ..