[python] 멀티프로세싱 Pool 사용법 및 코드 예시 | multiprocessing.Pool | python 속도 향상

 

멀티프로세싱은 여러 개의 독립적인 프로세스를 생성하여 각각의 프로세스가 병렬로 작업하도록 하는 방식이다. 각 프로세스는 독립적인 메모리 공간을 가지며, 프로세스 간 통신 (Inter-Process Communication, IPC) 메커니즘을 통해 데이터를 교환할 수 있다.

 

파이썬에서 멀티프로세싱을 구현하기 위해 사용되는 주요 모듈은 multiprocessing이다. multiprocessing 모듈은 파이썬에서 다중 프로세스를 사용하여 병렬 작업을 수행하는 데 도움이 되는 도구를 제공하는데, threading 모듈과 달리 Global Interpreter Lock (GIL)의 영향을 받지 않으므로 CPU-bound 작업에 효과적이다.

 

---

multiprocessing.Pool

multiprocessing.Pool 클래스는 멀티프로세싱을 쉽게 구현할 수 있도록 도와주는 클래스로, 간단한 코드로 여러 작업을 병렬로 실행할 수 있다. Pool 클래스는 여러 프로세스를 생성하고 관리하며, 작업을 이들 프로세스에 분산하여 처리한다.

Pool 클래스의 중요한 메서드 중 하나는 map 메서드인데, 이는 입력 데이터를 여러 프로세스에 분산하고 각각의 프로세스에서 주어진 함수를 수행한 후 결과를 수집하는 역할을 한다. 각 입력에 대한 결과는 입력 순서대로 반환된다.

 

 

multiprocessing.Pool(processes=None, initializer=None, initargs=())

• processes: 생성할 프로세스의 개수. 기본값은 CPU 코어의 개수
• initializer: 각 프로세스가 시작될 때 호출할 초기화 함수
• initargs: 초기화 함수에 전달할 인수들의 튜플

 

 pool.map(func, iterable, chunksize=None)

• func: 각 입력에 대해 실행할 함수
• iterable: 함수에 전달할 입력 데이터
• chunksize: 각 프로세스에 할당되는 데이터 묶음의 크기. 크기가 작을수록 작은 덩어리로 나누어지며, 이는 작은 작업들이 빠르게 완료될 때 유용하다.

---

 

멀티프로세싱 코드 예시

# multiprocessing.Pool

from multiprocessing import Pool

def my_function(arg):
    result = arg ** 2
    print(f"Result: {result}")
    return result

if __name__ == "__main__":
    with Pool(processes=4) as pool:
        inputs = [1, 2, 3, 4, 5]
        results = pool.map(my_function, inputs)

    print("Results:", results)

 

• 멀티프로세싱으로 실행하고자 하는 함수를 생성(my_function)
• multiprocessing.Pool을 만들고
• 실행하고자 하는 함수와 iterable한 입력 데이터를 pool.map을 통해 입력

 

 

# 싱글 프로세스 vs 멀티 프로세스 속도 측정 

import multiprocessing
import time

def my_function(number):
    result = 1
    for _ in range(number):
        result = result ** 2
    return result

def run_single_process(number):
    start_time = time.time()

    for _ in range(number):
        my_function(number)

    end_time = time.time()
    elapsed_time = end_time - start_time
    print(f"Single process - Elapsed Time: {elapsed_time} seconds")

def run_with_multiprocessing(number, num_processes):
    start_time = time.time()

    with multiprocessing.Pool(processes=num_processes) as pool:
        pool.map(my_function, [number] * num_processes)

    end_time = time.time()
    elapsed_time = end_time - start_time
    print(f"With multiprocessing - Elapsed Time: {elapsed_time} seconds")

if __name__ == "__main__":
    number_to_process = 1000
    num_processes = 4

    print("Running with single process:")
    run_single_process(number_to_process)

    print("\nRunning with multiprocessing:")
    run_with_multiprocessing(number_to_process, num_processes)

 

결과

• 위 코드를 사용하면 간단한 함수를 멀티프로세싱으로 실행했을 때와 싱글 프로세스로 실행했을 때의 속도를 측정할 수 있다
• 결과를 보면 멀티 프로세싱을 사용했을 때 처리 시간이 훨씬 빠른 것을 볼 수 있다

 

---

 

아래 포스팅에서는 multiprocessing.Process을 활용한 멀티프로세싱과 Pool, Process 클래스의 차이점에 대해 살펴본다. 특히 Process를 사용하는 경우 여러 프로세스에 서로 다른 작업을 할당할 수 있다.

 

[python] 멀티프로세싱 Process 사용법 및 코드 예시 | multiprocessing.Process | 여러 프로세스에 서로 다른