[python] 멀티프로세싱 Process 사용법 및 코드 예시 | multiprocessing.Process | 여러 프로세스에 서로 다른 작업을 할당

[python] 멀티프로세싱 Pool 사용법 및 코드 예시 | multiprocessing.Pool | python 속도 향상

 

위 포스팅에서 파이썬으로 멀티프로세싱을 사용하기 위해 multiprocessing.Pool 사용법에 대해 살펴봤다. 이번에는 multiprocessing.Process를 활용한 멀티프로세싱 방법과 Pool, Process 두 가지 방법의 차이점에 대해 알아보고자 한다.

 

multiprocessing.Pool과 multiprocessing.Process는 파이썬의 multiprocessing 모듈을 사용하여 멀티프로세싱을 구현하는 두 가지 다른 방법으로, 각각의 접근 방식은 특정 상황에 더 편리하게 사용될 수 있다.

 

특히 여러 프로세스에 서로 다른 작업을 할당하기 위해서는 multiprocessing.Process를 사용하면 된다.

---

multiprocessing.Pool

 

- 편리한 인터페이스

• Pool 클래스를 사용하면 여러 프로세스를 쉽게 생성하고 관리할 수 있으며
• 각 프로세스에 작업을 분배하고 결과를 수집하는 데 유용하다
• 때문에 간단하고 동일한 작업을 여러 데이터에 병렬로 적용해야 할 때 편리하다

 

- 작업 분배

• map, imap, apply 등을 통해 각 프로세스에 동일한 작업을 병렬로 분배할 수 있다.
• 입력 데이터를 나누어 처리하고 결과를 수집하는 과정이 내부적으로 처리된다.

 

- 풀 크기 제어

• Pool의 processes 매개변수를 사용하여 생성할 프로세스의 개수를 조절할 수 있다.

 

# 코드 예제

from multiprocessing import Pool

def square_number(x):
    return x ** 2

if __name__ == "__main__":
    data = [1, 2, 3, 4, 5]

    with Pool(processes=3) as pool:
        results = pool.map(square_number, data)

    print("Results:", results)

 

---

multiprocessing.Process

 

- 더 많은 제어

• Process 클래스를 사용하면 각 프로세스에 대해 더 많은 제어를 할 수 있다.
• 각 프로세스를 명시적으로 시작하고 종료할 수 있다.

 

- 프로세스 간 통신

• Queue, Pipe 등을 사용하여 프로세스 간 데이터 교환을 직접 구현해야 한다.
• IPC(Inter-Process Communication) 메커니즘을 통해 데이터를 공유할 수 있다.

 

- 더 복잡한 작업에 적합

• 복잡한 작업이나 서로 다른 작업을 각 프로세스에 수행하고자 할 때 사용된다고 한다.

 

# 코드 예제 - 기본

from multiprocessing import Process, Queue

def square_numbers(numbers, result_queue):
    squared_numbers = [x ** 2 for x in numbers]
    result_queue.put(squared_numbers)

if __name__ == "__main__":
    data = [1, 2, 3, 4, 5]
    result_queue = Queue()

    # 각 프로세스가 독립적으로 실행되며, 서로 다른 작업을 수행
    num_of_processes = 3
    processes = [Process(target=square_numbers, args=(data, result_queue)) for _ in range(num_of_processes)]

    for process in processes:
        process.start()

    for process in processes:
        process.join()

    # 결과를 큐에서 수집
    results = [result_queue.get() for _ in processes]

    print("Results:", results)

• 이 예시에서는 square_numbers 함수가 각각의 프로세스에서 실행됨
• 각 프로세스는 독립적으로 data 리스트의 숫자를 제곱하고, 그 결과를 result_queue에 넣음
• 메인 프로세스에서는 각 프로세스의 결과를 수집하여 출력

 

 

# 코드 예제 - 각 프로세스에서 서로 다른 작업을 수행

from multiprocessing import Process, Queue

def square_numbers(numbers, result_queue):
    squared_numbers = [x ** 2 for x in numbers]
    result_queue.put(squared_numbers)

def cube_numbers(numbers, result_queue):
    cubed_numbers = [x ** 3 for x in numbers]
    result_queue.put(cubed_numbers)

if __name__ == "__main__":
    data = [1, 2, 3, 4, 5]
    result_queue = Queue()

    # 각 프로세스에 다른 함수 할당
    process1 = Process(target=square_numbers, args=(data, result_queue))
    process2 = Process(target=cube_numbers, args=(data, result_queue))

    # 프로세스 시작
    process1.start()
    process2.start()

    # 프로세스 종료 대기
    process1.join()
    process2.join()

    # 결과를 큐에서 수집
    results = [result_queue.get(), result_queue.get()]

    print("Squared Results:", results[0])
    print("Cubed Results:", results[1])

• 프로세스를 여러개 만들고 각 프로세스마다 서로 다른 함수를 target으로 넣어주면 각 프로세스에서 서로 다른 함수를 실행할 수 있다.
• 예시에서는 숫자를 제곱하는 square_numbers 함수와 숫자를 세제곱하는 cube_numbers 함수를 서로 다른 프로세스로 실행