[python] 멀티프로세싱 Pool 사용법 및 코드 예시 | multiprocessing.Pool | python 속도 향상멀티프로세싱은 여러 개의 독립적인 프로세스를 생성하여 각각의 프로세스가 병렬로 작업하도록 하는 방식이다. 각 프로세스는 독립적인 메모리 공간을 가지며, 프로세스 간 통신 (Inter-Process Comvje.tistory.com 파이썬에서 멀티프로세싱을 구현하기 위해 multiprocessing 모듈을 사용할 수 있으며, 이 중 대표적인 방식으로 multiprocessing.Pool과 multiprocessing.Process가 있다. 이전 포스팅에서는 Pool을 중심으로 사용하는 방법을 살펴보았고, 이번에는 Process를 직접 사용하는 방식과 함께 두 방식의 차이점을 비교해보..

멀티프로세싱은 여러 개의 독립적인 프로세스를 생성하여 각각의 프로세스가 병렬로 작업하도록 하는 방식이다. 각 프로세스는 독립적인 메모리 공간을 가지며, 프로세스 간 통신 (Inter-Process Communication, IPC) 메커니즘을 통해 데이터를 교환할 수 있다. 파이썬에서 멀티프로세싱을 구현하기 위해 사용되는 주요 모듈은 multiprocessing이다. multiprocessing 모듈은 파이썬에서 다중 프로세스를 사용하여 병렬 작업을 수행하는 데 도움이 되는 도구를 제공하는데, threading 모듈과 달리 Global Interpreter Lock (GIL)의 영향을 받지 않으므로 CPU-bound 작업에 효과적이다. multiprocessing.Pool multiprocessing.P..

PyTorch에서는 모델의 일부분만 저장하거나 불러올 수 있다. 이 방법은 모델의 특정 부분에 대한 접근 권한을 제어하고 모델의 일부분만을 관리하고자 할 때 유용하다. 모델의 특정 부분을 저장하고 불러오기 위해 PyTorch에서는 state_dict의 특정 키를 사용할 수 있다. (state_dict는 모델의 가중치와 편향 등을 포함하는 사전(dictionary)이다) 다음은 모델의 특정 부분을 저장하고 불러오는 간단한 예제이다. import torch import torch.nn as nn # 예제 모델 정의 class ExampleModel(nn.Module): def __init__(self): super(ExampleModel, self).__init__() self.layer1 = nn.Line..

PostgreSQL에서 date_trunc 함수는 날짜 또는 시간의 일부를 지정된 단위로 자르는 데 사용된다. 이 함수는 주어진 단위에 따라 주어진 날짜 또는 시간의 값을 반올림 또는 버림하여 반환한다. date_trunc(unit, source); unit: 자르고자 하는 시간 또는 날짜의 단위를 지정 source: 자르고자 하는 대상이 되는 날짜 또는 시간 date_trunc 사용 예시 현재 날짜와 시간에서 시간을 자르기 SELECT date_trunc('hour', NOW()); -- 결과: 현재 시간의 정각까지의 값이 반환됩니다. 날짜에서 월을 자르기 SELECT date_trunc('month', '2023-03-15'::date); -- 결과: '2023-03-01' (해당 월의 첫 번째 날짜..

리눅스의 환경변수는 시스템 전체 또는 특정 사용자에 대한 설정 정보를 저장하는 데 사용되는 변수이다. 이러한 변수들은 명령 실행 시에 사용자의 환경을 구성하거나 프로그램이 실행될 때에 영향을 미치기 때문에 해당 환경에서 실행되는 프로세스가 모두 참조할 수 있다. 대부분 대문자로 작성되며, 일반적으로 설정값이나 경로와 같은 정보를 담고 있다. 환경 변수는 주로 다음과 같은 작업을 위해 사용한다고 보면 된다. 자주 사용하는 경로를 지정 기존에 있는 변수를 이용해 새로운 변수를 지정 프로세스가 구동 중에 참조할 값을 미리 환경변수에 할당하고 프로세스를 실행 여러개의 프로세스가 참조해야 하는 값을 환경변수에 할당 환경 변수를 임시로 선언하는 방법 환경 변수를 임시로 선언하려면 export 명령어를 사용한다. 임..

리눅스 명령어에서 리디렉션은 명령의 입력이나 출력을 파일이나 다른 장치로 보내거나 받을 수 있게 해주는 기능이다. 아래에서 몇 가지 주요한 리디렉션 기능을 설명한다. > (Output Redirection) echo "Hello, Linux" > greeting.txt 명령의 표준 출력을 파일로 리디렉션한다. 예제에서는 "Hello, Linux"라는 텍스트를 greeting.txt 파일로 리디렉션한다. 만약 greeting.txt 파일이 이미 존재하면 덮어쓰고, 없다면 새로운 파일을 생성한다. >> (Append Output) echo "Additional text" >> greeting.txt 명령의 표준 출력을 파일에 추가한다. 예제에서는 "Additional text"를 greeting.txt 파일..