joblib은 파이썬에서 병렬 처리를 간편하게 수행할 수 있도록 도와주는 라이브러리이다. Parallel 클래스 Parallel 클래스는 병렬로 함수를 실행하거나 반복 가능한 작업을 처리할 때 사용 - n_jobs n_jobs 매개변수를 사용하여 동시에 실행할 작업의 수를 조절할 수 있으며 일반적으로 CPU의 코어 수를 사용하면 효과적이다. n_jobs=-1은 시스템에서 사용 가능한 모든 코어를 활용하여 최대한 병렬로 실행하라는 의미 - backend 백엔드는 어떻게 병렬 작업을 처리할지를 결정하는 핵심 역할을 하며, loky 백엔드가 기본적으로 사용된다. loky (기본 백엔드) loky는 파이썬의 concurrent.futures를 기반으로 하는 백엔드로, 멀티프로세싱을 활용 프로세스 풀링을 통해 효..

[python] 멀티프로세싱 Pool 사용법 및 코드 예시 | multiprocessing.Pool | python 속도 향상멀티프로세싱은 여러 개의 독립적인 프로세스를 생성하여 각각의 프로세스가 병렬로 작업하도록 하는 방식이다. 각 프로세스는 독립적인 메모리 공간을 가지며, 프로세스 간 통신 (Inter-Process Comvje.tistory.com 파이썬에서 멀티프로세싱을 구현하기 위해 multiprocessing 모듈을 사용할 수 있으며, 이 중 대표적인 방식으로 multiprocessing.Pool과 multiprocessing.Process가 있다. 이전 포스팅에서는 Pool을 중심으로 사용하는 방법을 살펴보았고, 이번에는 Process를 직접 사용하는 방식과 함께 두 방식의 차이점을 비교해보..

멀티프로세싱은 여러 개의 독립적인 프로세스를 생성하여 각각의 프로세스가 병렬로 작업하도록 하는 방식이다. 각 프로세스는 독립적인 메모리 공간을 가지며, 프로세스 간 통신 (Inter-Process Communication, IPC) 메커니즘을 통해 데이터를 교환할 수 있다. 파이썬에서 멀티프로세싱을 구현하기 위해 사용되는 주요 모듈은 multiprocessing이다. multiprocessing 모듈은 파이썬에서 다중 프로세스를 사용하여 병렬 작업을 수행하는 데 도움이 되는 도구를 제공하는데, threading 모듈과 달리 Global Interpreter Lock (GIL)의 영향을 받지 않으므로 CPU-bound 작업에 효과적이다. multiprocessing.Pool multiprocessing.P..

PyTorch에서는 모델의 일부분만 저장하거나 불러올 수 있다. 이 방법은 모델의 특정 부분에 대한 접근 권한을 제어하고 모델의 일부분만을 관리하고자 할 때 유용하다. 모델의 특정 부분을 저장하고 불러오기 위해 PyTorch에서는 state_dict의 특정 키를 사용할 수 있다. (state_dict는 모델의 가중치와 편향 등을 포함하는 사전(dictionary)이다) 다음은 모델의 특정 부분을 저장하고 불러오는 간단한 예제이다. import torch import torch.nn as nn # 예제 모델 정의 class ExampleModel(nn.Module): def __init__(self): super(ExampleModel, self).__init__() self.layer1 = nn.Line..

PostgreSQL에서 date_trunc 함수는 날짜 또는 시간의 일부를 지정된 단위로 자르는 데 사용된다. 이 함수는 주어진 단위에 따라 주어진 날짜 또는 시간의 값을 반올림 또는 버림하여 반환한다. date_trunc(unit, source); unit: 자르고자 하는 시간 또는 날짜의 단위를 지정 source: 자르고자 하는 대상이 되는 날짜 또는 시간 date_trunc 사용 예시 현재 날짜와 시간에서 시간을 자르기 SELECT date_trunc('hour', NOW()); -- 결과: 현재 시간의 정각까지의 값이 반환됩니다. 날짜에서 월을 자르기 SELECT date_trunc('month', '2023-03-15'::date); -- 결과: '2023-03-01' (해당 월의 첫 번째 날짜..

리눅스의 환경변수는 시스템 전체 또는 특정 사용자에 대한 설정 정보를 저장하는 데 사용되는 변수이다. 이러한 변수들은 명령 실행 시에 사용자의 환경을 구성하거나 프로그램이 실행될 때에 영향을 미치기 때문에 해당 환경에서 실행되는 프로세스가 모두 참조할 수 있다. 대부분 대문자로 작성되며, 일반적으로 설정값이나 경로와 같은 정보를 담고 있다. 환경 변수는 주로 다음과 같은 작업을 위해 사용한다고 보면 된다. 자주 사용하는 경로를 지정 기존에 있는 변수를 이용해 새로운 변수를 지정 프로세스가 구동 중에 참조할 값을 미리 환경변수에 할당하고 프로세스를 실행 여러개의 프로세스가 참조해야 하는 값을 환경변수에 할당 환경 변수를 임시로 선언하는 방법 환경 변수를 임시로 선언하려면 export 명령어를 사용한다. 임..