본문 바로가기

💻 Programming/Python14

[python] 파이썬 병렬 처리 | joblib 사용법 | 멀티프로세싱 | 멀티쓰레딩 joblib은 파이썬에서 병렬 처리를 간편하게 수행할 수 있도록 도와주는 라이브러리이다. Parallel 클래스 Parallel 클래스는 병렬로 함수를 실행하거나 반복 가능한 작업을 처리할 때 사용 - n_jobs n_jobs 매개변수를 사용하여 동시에 실행할 작업의 수를 조절할 수 있으며 일반적으로 CPU의 코어 수를 사용하면 효과적이다. n_jobs=-1은 시스템에서 사용 가능한 모든 코어를 활용하여 최대한 병렬로 실행하라는 의미 - backend 백엔드는 어떻게 병렬 작업을 처리할지를 결정하는 핵심 역할을 하며, loky 백엔드가 기본적으로 사용된다. loky (기본 백엔드) loky는 파이썬의 concurrent.futures를 기반으로 하는 백엔드로, 멀티프로세싱을 활용 프로세스 풀링을 통해 효.. 2024. 1. 19.

[python] 멀티프로세싱 Process 사용법 및 코드 예시 | multiprocessing.Process | 여러 프로세스에 서로 다른 작업을 할당 [python] 멀티프로세싱 Pool 사용법 및 코드 예시 | multiprocessing.Pool | python 속도 향상 멀티프로세싱은 여러 개의 독립적인 프로세스를 생성하여 각각의 프로세스가 병렬로 작업하도록 하는 방식이다. 각 프로세스는 독립적인 메모리 공간을 가지며, 프로세스 간 통신 (Inter-Process Co mvje.tistory.com 위 포스팅에서 파이썬으로 멀티프로세싱을 사용하기 위해 multiprocessing.Pool 사용법에 대해 살펴봤다. 이번에는 multiprocessing.Process를 활용한 멀티프로세싱 방법과 Pool, Process 두 가지 방법의 차이점에 대해 알아보고자 한다. multiprocessing.Pool과 multiprocessing.Process는.. 2024. 1. 7.

[python] 멀티프로세싱 Pool 사용법 및 코드 예시 | multiprocessing.Pool | python 속도 향상 멀티프로세싱은 여러 개의 독립적인 프로세스를 생성하여 각각의 프로세스가 병렬로 작업하도록 하는 방식이다. 각 프로세스는 독립적인 메모리 공간을 가지며, 프로세스 간 통신 (Inter-Process Communication, IPC) 메커니즘을 통해 데이터를 교환할 수 있다. 파이썬에서 멀티프로세싱을 구현하기 위해 사용되는 주요 모듈은 multiprocessing이다. multiprocessing 모듈은 파이썬에서 다중 프로세스를 사용하여 병렬 작업을 수행하는 데 도움이 되는 도구를 제공하는데, threading 모듈과 달리 Global Interpreter Lock (GIL)의 영향을 받지 않으므로 CPU-bound 작업에 효과적이다. multiprocessing.Pool multiprocessing.P.. 2024. 1. 7.

[pandas] 특정 컬럼에서 특정 문자열이 포함된 행 찾기 | str.contains 판다스에서는 특정 컬럼에서 특정 문자열이 포함된 행을 찾을 수 있습니다. 이를 위해서는 해당 컬럼의 문자열에 대해 str.contains() 메서드를 사용할 수 있습니다. str.contains() 기본 사용법 contains_apple = df[df['컬럼 A'].str.contains('가나다라')] "컬럼 A"에서 "가나다라"가 포함된 행을 찾기 위해서는 위와 같이 사용하면 된다. 정규 표현식 사용 contains_pattern = df[df['A'].str.contains('사과|바나나', regex=True)] regex=True 로 설정하여 정규 표현식을 사용할 수 있다. 예를 들어, 특정 패턴이나 문자열을 정규 표현식으로 지정하여 검색할 수 있다. 위 예시는 '사과' 또는 '바나나'가 포함된.. 2023. 11. 17.

[pandas] 특정 컬럼의 값이 공백인 행을 제외하는 방법 | dropna 판다스의 데이터프레임에서 특정 컬럼의 값이 공백(또는 빈 문자열)인 행을 제외하고 싶을 때 어떻게 하면 되는지 알아보자. 특정 컬럼의 공백인 행 제거 import pandas as pd # 샘플 데이터프레임 생성 data = {'A': [1, 2, 3, 4], 'B': ['apple', 'banana', '', 'orange']} df = pd.DataFrame(data) # 'B' 컬럼의 값이 공백인 행 제외 df_no_empty_values = df[df['B'].str.strip() != ''] # 결과 출력 print(df_no_empty_values) 위 코드에서 df['B'].str.strip() != '' 부분은 'B' 컬럼의 각 값에 대해 좌우의 공백을 제거하고 빈 문자열과 비교하여 공백인.. 2023. 11. 17.

[pandas] 특정 컬럼에서 중복된 값 제거 | drop_duplicates 판다스 데이터프레임에서 간혹 특정 컬럼에 중복된 값을 제거하고 싶은 경우가 있다. 만약 중복된 값을 가진 행 중 처음 등장하는 행을 제외하고 나머지 중복된 행을 모두 제거하고 싶다면 다음과 같은 방법을 사용할 수 있다. import pandas as pd # 샘플 데이터프레임 생성 data = {'column_name': [1, 2, 3, 1, 2, 4]} df = pd.DataFrame(data) # 중복된 값을 가진 행 중 처음 등장하는 행을 제외하고 나머지 중복된 행 제거 df_no_duplicates = df.drop_duplicates(subset='column_name', keep='first') # 결과 출력 print(df_no_duplicates) # 행 개수 비교 print(len(df.. 2023. 11. 17.

이전 1 2 3 다음

티스토리툴바