728x90 딥러닝8 [논문 리뷰] Learning to Compare: Relation Network for Few-Shot Learning / meta-learning, few shot learning 본 논문은 CVPR2018에 게재된 few shot learning 이라는 주제의 논문입니다. 딥러닝에서 데이터의 개수는 성능과 직결되지만, 현실적인 테스크에서 데이터 개수는 늘 부족할 수 밖에 없습니다. 이러한 limited data 문제를 해결하기 위해 data 차원에서는 data augmentation 방법이 존재하고, network 차원에서는 Un/Semi-supervised learning, Transfer learning, Meta learning 방법 등이 존재합니다. few shot learning은 meta learning 방식을 사용하여 적은 data 개수로 network를 학습시키는 방법론입니다. Meta learning에는 metric, model, optimization, GCN .. 2021. 10. 17. [pytorch] 모델의 일부 레이어 웨이트 업데이트 막기 | model freezing (모델 프리징) PyTorch에서 모델 일부분의 학습을 막기 위해서는 해당 부분의 매개변수에 대해 requires_grad 속성을 False로 설정하면 된다. 이를 통해 그 매개변수에 대한 gradient가 계산되지 않아 웨이트가 업데이트되지 않는다. 기본적으로 model.named_parameters() 메서드를 사용하여 name과 param을 추출하고 원하는 name의 레이어만 requires_grad를 변경할 수 있다. 모델 프리징 예시 - Resnet 예시 import torch import torch.nn as nn import torchvision.models as models # ResNet-50 모델 불러오기 (pre-trained) resnet50 = models.resnet50(pretrained=Tr.. 2021. 2. 17. 이전 1 2 다음 728x90
