본문 바로가기

💻 Programming/AI & ML16

[pytorch] 모델 일부분만 저장하기/불러오기 PyTorch에서는 모델의 일부분만 저장하거나 불러올 수 있다. 이 방법은 모델의 특정 부분에 대한 접근 권한을 제어하고 모델의 일부분만을 관리하고자 할 때 유용하다. 모델의 특정 부분을 저장하고 불러오기 위해 PyTorch에서는 state_dict의 특정 키를 사용할 수 있다. (state_dict는 모델의 가중치와 편향 등을 포함하는 사전(dictionary)이다) 다음은 모델의 특정 부분을 저장하고 불러오는 간단한 예제이다. import torch import torch.nn as nn # 예제 모델 정의 class ExampleModel(nn.Module): def __init__(self): super(ExampleModel, self).__init__() self.layer1 = nn.Line.. 2023. 12. 9.

[ONNX] 딥러닝 모델 ONNX Runtime으로 CPU 환경에서 가속화하기 요즘은 어지간한 딥러닝 모델을 GPU 없이 돌리기 어렵지만, 또 의외로 가벼운 모델들은 CPU 만으로 돌릴 수 있다. 가능하다면 클라우드 비용도 줄일 수 있으니 온라인 예측이 필요한 경우가 아니라면 CPU 환경에서 인퍼런스하는 것도 고려해 볼 만하다. 물론 CPU로 딥러닝 모델 인퍼런스를 하게 되면 상당히 느리다. 때문에 ONNX 모델 변환을 하고, ONNX runtime으로 인퍼런스를 수행하면 조금이라도 모델 인퍼런스 속도를 향상시킬 수 있다. 또한 TensorRT와 달리 ONNX 모델 변환의 경우 입력 텐서 크기 또한 동적으로 가져갈 수 있다는 장점이 있다. 물론 하드웨어 환경에 따라, 모델에 따라, 입력 텐서의 크기에 따라 속도 향상의 정도가 다르거나, 오히려 속도가 느려질 수도 있으니 테스트를 해.. 2023. 11. 16.

[Model Inference] Pytorch 2.0 Compile 사용 후기 및 장단점 | pytorch compile 모델 추론 속도 개선 테스트 Pytorch Compile 튜토리얼 Pytorch 2.0 Overview Pytorch 2.0 compiled_model = torch.compile(model) 긴 설명할 것 없이 Pytorch 2.0 이후 compile 이라는 것이 추가되었는데, 위 예시처럼 torch.comile(model)이라는 짧은 코드 한 줄만 추가하면 모델 인퍼런스 속도를 향상시킬 수 있다고 한다. 공식 문서에 따르면 A100 GPU에서 모델 학습 속도는 43% 향상되고, 모델 인퍼런스 속도는 Float32 precision에서 21%, AMP precision에서 51% 정도 향상된다고 한다. Pytorch 2.0 Compile 모델 인퍼런스 테스트 torchvision에서 제공하는 기본적인 모델인 resnet50으로 p.. 2023. 10. 7.

[Model Inference] Torch-TensorRT 사용법 | 딥러닝 모델 최적화 및 인퍼런스 가속화 Torch-TensorRT는 PyTorch와 NVIDIA의 TensorRT를 통합하여 딥러닝 모델을 최적화하고 가속화하는 데 사용되는 PyTorch/TorchScript/FX용 컴파일러이다. Torch-TensorRT는 PyTorch 익스텐션으로 동작하며 JIT(Just In Time) 런타임에 원할하게 통합되는 모듈을 컴파일한다. NVIDIA TensorRT는 NVIDIA GPU에서 모델을 더 빠르게 실행하기 위한 최적화된 런타임 엔진으로, 특히 딥 러닝 모델을 배포 환경에서 더 효율적으로 실행하고 추론(inference) 성능을 향상시키는 데 사용된다. 기존에 파이썬으로 TensorRT를 사용하기 위해서는 오픈소스 커뮤니티에서 개발한 torch2trt 패키지를 사용해서 pytorch 모델을 tenso.. 2023. 10. 2.

[pytorch] Multi-GPU Training | 다중 GPU 학습 예시| Distributed Data Parallel (DDP) | Data Parallel (DP) Multi-GPU Training Multi-GPU Training (다중 GPU 학습)은 여러 개의 GPU를 사용하여 딥러닝 모델을 학습하는 방법이다. 딥러닝 모델은 점점 커지고 데이터셋의 크기 또한 방대하기 때문에 다중 GPU를 사용하여 딥러닝 모델을 학습하는 것은 사실상 필수적인 기술이라 볼 수 있다. Pytorch에서는 multi-gpu 학습을 위한 몇 가지 방법을 제공한다. Data Prarallel (DP) # DataParallel 모듈로 모델 감싸기 model = nn.DataParallel(model) torch.nn.DataParallel 모듈을 사용하는 방법으로, 굉장히 간단하게 동작하지만 몇 가지 치명적인 단점이 존재하는 방법이다. 장점 아주 간단하다 (딥러닝 모델을 해당 함수로 감.. 2023. 4. 17.

[pytorch]Box operator로 Bounding Box 쉽게 다루기 torchvision.ops torchvision.ops 에서는 computer vision 관련 각종 operator 들을 제공하는데, 그중에서 Bounding Box를 다루는 Box Operators를 소개한다. Detection 관련 코드를 만지다보면 bounding box를 다룰 일이 많은데, torchvision.ops 에서는 bactch 단위로 연산이 가능한 각종 기능들을 제공한다. * box 면적, box간의 iou, box format 변경, clip 등 수행 가능 테스트 box 3개를 정의하고 앞서 살펴본 box operator 기능들을 테스트 import numpy as np import cv2 import torch from torchvision.ops import * # boxes .. 2023. 3. 17.

이전 1 2 3 다음

티스토리툴바