[python] 멀티프로세싱 Process 사용법 및 코드 예시 | multiprocessing.Process | 여러 프로세스에 서로 다른 작업을 할당

[python] 멀티프로세싱 Pool 사용법 및 코드 예시 | multiprocessing.Pool | python 속도 향상

 

파이썬에서 멀티프로세싱을 구현하기 위해 multiprocessing 모듈을 사용할 수 있으며, 이 중 대표적인 방식으로 multiprocessing.Pool과 multiprocessing.Process가 있다. 이전 포스팅에서는 Pool을 중심으로 사용하는 방법을 살펴보았고, 이번에는 Process를 직접 사용하는 방식과 함께 두 방식의 차이점을 비교해보려 한다.

 

Pool과 Process는 멀티프로세싱을 구현하는 두 가지 접근 방식으로, 상황에 따라 더 적합한 방식이 달라질 수 있다. 특히 각 프로세스에 서로 다른 작업을 할당해야 하는 경우에는 Process를 직접 사용하는 것이 유리하다.

---

📌 multiprocessing.Pool

✅ 간편한 인터페이스
Pool 클래스는 여러 개의 프로세스를 생성하고, 각 프로세스에 작업을 분배하는 과정을 간단하게 만들어준다. 동일한 함수를 여러 입력값에 병렬로 적용할 때 특히 편리하다.

 

✅ 작업 분배 자동화
map, imap, apply 등의 메서드를 사용하면 입력 데이터를 자동으로 나눠 여러 프로세스에 분산시키고, 결과를 병합하는 작업까지 내부적으로 처리된다.

 

✅ 프로세스 수 제어
Pool(processes=n) 형태로 생성 시 사용할 프로세스의 개수를 지정할 수 있다. 이는 CPU 코어 수 또는 병렬처리할 작업 수에 따라 조절할 수 있다.

 

# 코드 예제

from multiprocessing import Pool

def square_number(x):
    return x ** 2

if __name__ == "__main__":
    data = [1, 2, 3, 4, 5]

    with Pool(processes=3) as pool:
        results = pool.map(square_number, data)

    print("Results:", results)

 

---

📌 multiprocessing.Process

✅ 세밀한 제어가 필요한 경우에 적합
Process 클래스를 사용하면 각 프로세스를 명시적으로 생성하고, 시작(start()), 종료(terminate()), 대기(join()) 등의 동작을 세밀하게 제어할 수 있다. 작업 흐름을 직접 관리해야 하지만, 그만큼 유연하게 설계할 수 있다는 장점이 있다.

 

✅ 프로세스 간 통신(IPC) 구현 필요
Process 방식에서는 프로세스 간 데이터 공유를 직접 처리해주어야 한다. 이를 위해 Queue, Pipe, Value, Array 등의 IPC(Inter-Process Communication) 메커니즘을 사용한다. 그만큼 구현 난이도는 약간 높지만, 복잡한 데이터 흐름을 처리할 수 있다.

 

✅ 다양한 작업 처리에 유리
Pool이 동일한 함수를 여러 데이터에 적용할 때 유용한 반면, Process는 서로 다른 작업을 병렬로 수행해야 하는 경우에 적합하다. 예를 들어, 하나는 서버를 실행하고 다른 하나는 데이터 로깅을 수행하는 식의 병렬 작업 처리에 자주 쓰인다.

 

# 코드 예제 - 기본

from multiprocessing import Process, Queue

def square_numbers(numbers, result_queue):
    squared_numbers = [x ** 2 for x in numbers]
    result_queue.put(squared_numbers)

if __name__ == "__main__":
    data = [1, 2, 3, 4, 5]
    result_queue = Queue()

    # 각 프로세스가 독립적으로 실행되며, 서로 다른 작업을 수행
    num_of_processes = 3
    processes = [Process(target=square_numbers, args=(data, result_queue)) for _ in range(num_of_processes)]

    for process in processes:
        process.start()

    for process in processes:
        process.join()

    # 결과를 큐에서 수집
    results = [result_queue.get() for _ in processes]

    print("Results:", results)

• 이 예시에서는 square_numbers 함수가 각각의 프로세스에서 실행됨
• 각 프로세스는 독립적으로 data 리스트의 숫자를 제곱하고, 그 결과를 result_queue에 넣음
• 메인 프로세스에서는 각 프로세스의 결과를 수집하여 출력

 

# 코드 예제 - 각 프로세스에서 서로 다른 작업을 수행

from multiprocessing import Process, Queue

def square_numbers(numbers, result_queue):
    squared_numbers = [x ** 2 for x in numbers]
    result_queue.put(squared_numbers)

def cube_numbers(numbers, result_queue):
    cubed_numbers = [x ** 3 for x in numbers]
    result_queue.put(cubed_numbers)

if __name__ == "__main__":
    data = [1, 2, 3, 4, 5]
    result_queue = Queue()

    # 각 프로세스에 다른 함수 할당
    process1 = Process(target=square_numbers, args=(data, result_queue))
    process2 = Process(target=cube_numbers, args=(data, result_queue))

    # 프로세스 시작
    process1.start()
    process2.start()

    # 프로세스 종료 대기
    process1.join()
    process2.join()

    # 결과를 큐에서 수집
    results = [result_queue.get(), result_queue.get()]

    print("Squared Results:", results[0])
    print("Cubed Results:", results[1])

• 프로세스를 여러개 만들고 각 프로세스마다 서로 다른 함수를 target으로 넣어주면 각 프로세스에서 서로 다른 함수를 실행할 수 있다.
• 예시에서는 숫자를 제곱하는 square_numbers 함수와 숫자를 세제곱하는 cube_numbers 함수를 서로 다른 프로세스로 실행