본문 바로가기

💻 Programming83

데이터 처리와 분석에 NumPy와 Pandas가 필수인 이유!? 오늘은 데이터 분석과 머신러닝 프로젝트에서 필수적으로 사용되는 두 가지 파이썬 라이브러리, NumPy와 Pandas에 대해 이야기해보려고 해요. 왜 이 두 가지 툴을 사용해야 하는지 궁금하지 않나요? 왜 NumPy와 Pandas를 사용할까?파이썬은 그 자체로 강력한 프로그래밍 언어지만, 대규모 데이터 처리와 분석에는 조금 부족할 수 있어요. 이때 NumPy와 Pandas를 사용하면 복잡한 데이터를 쉽게 다룰 수 있답니다. 그럼 왜 많은 데이터 사이언티스트와 개발자들이 이 두 라이브러리를 사랑하는지 살펴봅시다!📌 NumPy: 빠르고 효율적인 수치 계산!NumPy는 고성능 수치 계산을 위한 필수 도구예요. 고성능 수치 계산빠른 연산 속도: NumPy는 배열 연산을 C로 구현해서 파이썬 기본 기능보다 훨씬 .. 2024. 7. 7.

[python] 3차원 공간 회전 변환 | scipy Rotation scipy의 Rotation 클래스는 3D 공간에서의 회전 변환을 다루는 데 사용된다. 회전을 나타내는 행렬로부터 회전을 수행하거나, 회전을 나타내는 축과 각도를 사용하여 회전을 수행할 수 있어서 3D geometry를 다룰 때 해당 클래스를 자주 사용하고 있다. 그 중에도 Rotation.apply() 메서드를 자주 사용하는데, 이 메서드는 회전된 벡터를 반환한다. 해당 메서드의 기능은 벡터에 회전 행렬을 곱하는 것이며, 수식적으로는 위와 같이 기존 벡터에 회전행렬(R)을 곱하는 것과 같다. 회전 행렬을 벡터에 곱함으로써 회전된 벡터를 얻을 수 있다. Rotation.inv().apply() 를 사용하면 회전 행렬의 역행렬을 벡터에 적용하여 회전 행렬의 반대방향으로 회전시킬 수도 있다. 코드 예제 fr.. 2024. 3. 29.

[python] 파이썬 병렬 처리 | joblib 사용법 | 멀티프로세싱 | 멀티쓰레딩 joblib은 파이썬에서 병렬 처리를 간편하게 수행할 수 있도록 도와주는 라이브러리이다. Parallel 클래스 Parallel 클래스는 병렬로 함수를 실행하거나 반복 가능한 작업을 처리할 때 사용 - n_jobs n_jobs 매개변수를 사용하여 동시에 실행할 작업의 수를 조절할 수 있으며 일반적으로 CPU의 코어 수를 사용하면 효과적이다. n_jobs=-1은 시스템에서 사용 가능한 모든 코어를 활용하여 최대한 병렬로 실행하라는 의미 - backend 백엔드는 어떻게 병렬 작업을 처리할지를 결정하는 핵심 역할을 하며, loky 백엔드가 기본적으로 사용된다. loky (기본 백엔드) loky는 파이썬의 concurrent.futures를 기반으로 하는 백엔드로, 멀티프로세싱을 활용 프로세스 풀링을 통해 효.. 2024. 1. 19.

[python] 멀티프로세싱 Process 사용법 및 코드 예시 | multiprocessing.Process | 여러 프로세스에 서로 다른 작업을 할당 [python] 멀티프로세싱 Pool 사용법 및 코드 예시 | multiprocessing.Pool | python 속도 향상 멀티프로세싱은 여러 개의 독립적인 프로세스를 생성하여 각각의 프로세스가 병렬로 작업하도록 하는 방식이다. 각 프로세스는 독립적인 메모리 공간을 가지며, 프로세스 간 통신 (Inter-Process Co mvje.tistory.com 위 포스팅에서 파이썬으로 멀티프로세싱을 사용하기 위해 multiprocessing.Pool 사용법에 대해 살펴봤다. 이번에는 multiprocessing.Process를 활용한 멀티프로세싱 방법과 Pool, Process 두 가지 방법의 차이점에 대해 알아보고자 한다. multiprocessing.Pool과 multiprocessing.Process는.. 2024. 1. 7.

[python] 멀티프로세싱 Pool 사용법 및 코드 예시 | multiprocessing.Pool | python 속도 향상 멀티프로세싱은 여러 개의 독립적인 프로세스를 생성하여 각각의 프로세스가 병렬로 작업하도록 하는 방식이다. 각 프로세스는 독립적인 메모리 공간을 가지며, 프로세스 간 통신 (Inter-Process Communication, IPC) 메커니즘을 통해 데이터를 교환할 수 있다. 파이썬에서 멀티프로세싱을 구현하기 위해 사용되는 주요 모듈은 multiprocessing이다. multiprocessing 모듈은 파이썬에서 다중 프로세스를 사용하여 병렬 작업을 수행하는 데 도움이 되는 도구를 제공하는데, threading 모듈과 달리 Global Interpreter Lock (GIL)의 영향을 받지 않으므로 CPU-bound 작업에 효과적이다. multiprocessing.Pool multiprocessing.P.. 2024. 1. 7.

[pytorch] 모델 일부분만 저장하기/불러오기 PyTorch에서는 모델의 일부분만 저장하거나 불러올 수 있다. 이 방법은 모델의 특정 부분에 대한 접근 권한을 제어하고 모델의 일부분만을 관리하고자 할 때 유용하다. 모델의 특정 부분을 저장하고 불러오기 위해 PyTorch에서는 state_dict의 특정 키를 사용할 수 있다. (state_dict는 모델의 가중치와 편향 등을 포함하는 사전(dictionary)이다) 다음은 모델의 특정 부분을 저장하고 불러오는 간단한 예제이다. import torch import torch.nn as nn # 예제 모델 정의 class ExampleModel(nn.Module): def __init__(self): super(ExampleModel, self).__init__() self.layer1 = nn.Line.. 2023. 12. 9.

이전 1 2 3 4 5 6 ··· 14 다음

티스토리툴바