안녕하세요. 오늘은 기본적인 멀티모달 AI 모델인, CLIP을 사용해 보는 튜토리얼을 가져왔어요!사실 요즘은 딥러닝 프레임워크가 발전해서 굉장히 손쉽게 AI 모델을 다뤄볼 수 있는데요. CLIP 과 같은 트랜스포머 기반의 모델도 허깅페이스 API를 사용하면 굉장히 쉽게 사용해 볼 수 있어요. 특히 학습하지 않고 pre-trained(사전 학습된) 모델을 사용한다면 더더욱 쉽겠죠? *CLIP : Contrastive Language-Image Pretraining 그래서 오늘은 코딩을 할 줄 모르는 비개발자도 손쉽게 따라할 수 있는 튜토리얼을 만들어 왔답니다 ~~ 🤗사실 코드가 짧아서 뭐 만들었다고 할 수 있는 수준도 아니긴 해요 ㅎㅎCLIP Model 그래도 간단하게 라도 CLIP 모델이 무엇인지는 ..

PyTorch에서는 모델의 일부분만 저장하거나 불러올 수 있다. 이 방법은 모델의 특정 부분에 대한 접근 권한을 제어하고 모델의 일부분만을 관리하고자 할 때 유용하다. 모델의 특정 부분을 저장하고 불러오기 위해 PyTorch에서는 state_dict의 특정 키를 사용할 수 있다. (state_dict는 모델의 가중치와 편향 등을 포함하는 사전(dictionary)이다) 다음은 모델의 특정 부분을 저장하고 불러오는 간단한 예제이다. import torch import torch.nn as nn # 예제 모델 정의 class ExampleModel(nn.Module): def __init__(self): super(ExampleModel, self).__init__() self.layer1 = nn.Line..

요즘은 어지간한 딥러닝 모델을 GPU 없이 돌리기 어렵지만, 또 의외로 가벼운 모델들은 CPU 만으로 돌릴 수 있다. 가능하다면 클라우드 비용도 줄일 수 있으니 온라인 예측이 필요한 경우가 아니라면 CPU 환경에서 인퍼런스하는 것도 고려해 볼 만하다. 물론 CPU로 딥러닝 모델 인퍼런스를 하게 되면 상당히 느리다. 때문에 ONNX 모델 변환을 하고, ONNX runtime으로 인퍼런스를 수행하면 조금이라도 모델 인퍼런스 속도를 향상시킬 수 있다. 또한 TensorRT와 달리 ONNX 모델 변환의 경우 입력 텐서 크기 또한 동적으로 가져갈 수 있다는 장점이 있다. 물론 하드웨어 환경에 따라, 모델에 따라, 입력 텐서의 크기에 따라 속도 향상의 정도가 다르거나, 오히려 속도가 느려질 수도 있으니 테스트를 해..

Pytorch Compile 튜토리얼 Pytorch 2.0 Overview Pytorch 2.0 compiled_model = torch.compile(model) 긴 설명할 것 없이 Pytorch 2.0 이후 compile 이라는 것이 추가되었는데, 위 예시처럼 torch.comile(model)이라는 짧은 코드 한 줄만 추가하면 모델 인퍼런스 속도를 향상시킬 수 있다고 한다. 공식 문서에 따르면 A100 GPU에서 모델 학습 속도는 43% 향상되고, 모델 인퍼런스 속도는 Float32 precision에서 21%, AMP precision에서 51% 정도 향상된다고 한다. Pytorch 2.0 Compile 모델 인퍼런스 테스트 torchvision에서 제공하는 기본적인 모델인 resnet50으로 p..

Torch-TensorRT는 PyTorch와 NVIDIA의 TensorRT를 통합하여 딥러닝 모델을 최적화하고 가속화하는 데 사용되는 PyTorch/TorchScript/FX용 컴파일러이다. Torch-TensorRT는 PyTorch 익스텐션으로 동작하며 JIT(Just In Time) 런타임에 원할하게 통합되는 모듈을 컴파일한다. NVIDIA TensorRT는 NVIDIA GPU에서 모델을 더 빠르게 실행하기 위한 최적화된 런타임 엔진으로, 특히 딥 러닝 모델을 배포 환경에서 더 효율적으로 실행하고 추론(inference) 성능을 향상시키는 데 사용된다. 기존에 파이썬으로 TensorRT를 사용하기 위해서는 오픈소스 커뮤니티에서 개발한 torch2trt 패키지를 사용해서 pytorch 모델을 tenso..

Multi-GPU Training Multi-GPU Training (다중 GPU 학습)은 여러 개의 GPU를 사용하여 딥러닝 모델을 학습하는 방법이다. 딥러닝 모델은 점점 커지고 데이터셋의 크기 또한 방대하기 때문에 다중 GPU를 사용하여 딥러닝 모델을 학습하는 것은 사실상 필수적인 기술이라 볼 수 있다. Pytorch에서는 multi-gpu 학습을 위한 몇 가지 방법을 제공한다. Data Prarallel (DP) # DataParallel 모듈로 모델 감싸기 model = nn.DataParallel(model) torch.nn.DataParallel 모듈을 사용하는 방법으로, 굉장히 간단하게 동작하지만 몇 가지 치명적인 단점이 존재하는 방법이다. 장점 아주 간단하다 (딥러닝 모델을 해당 함수로 감..