deep learning

CVPR 2019 에 공개된 논문으로, image classification 등의 vision 분야에서 참고하면 좋을 여러 training 방법론을 정리 및 실험한 논문입니다. Introduction Image classification task에서 성능을 높이기 위해서는 더 좋은 더 큰 network 를 쓰면 되지만, network를 변경하는 것 이외에도 성능을 좌지우지하는 많은 요소들이 존재합니다. 본 논문에서는 ResNet50을 기준으로 network architecture는 크게 변경하지 않고 여러 Trick 들을 실험한 결과를 제공합니다. 결과적으로, 여러 trick들을 적용하면 적용 이전보다 ImageNet Top-1 accuracy가 4% 가량이나 증가한다는 것을 보여줍니다(위의 Table ..

ICLR 2021에 개제된 논문이며 object와 shape, texture와의 관계, 그리고 object recognition 등의 vision task에서 shape과 texture 정보를 모두 이용하여 학습하여 성능을 향상시킨 shape-texture debiased neural network를 제안합니다. Introduction Shape과 texture는 모두 object를 인식할 때 중요한 단서들입니다. 이미 이전의 object recognition 연구에서 shape과 texture를 적절하게 결합하면 인식 성능을 높일 수 있음이 밝혀졌습니다. ‘IMAGENET-TRAINED CNNS ARE BIASED TOWARDS TEXTURE; INCREASING SHAPE BIAS IMPROVES A..

본 논문은 CVPR2021에 게재된 논문이며 texture recogntion(texture, material datatset) SOTA를 달성한 연구입니다. Texture Recognition ? Texture Recognition은 Image classification 분야의 일부로 object(e.g. 강아지,고양이,사슴,트럭,...etc.)가 아닌 texture(체크무늬, 줄무늬, 페이즐, 밧줄, etc.)를 분류하는 작업입니다. object는 하나의 class가 어느정도의 deformation(object의 세부 class, object를 보는 각도, object의 자세 차이)을 가지지만 유사한 shape을 가지므로 global한 shape정보가 주요한 feature로 사용됩니다. 하지만, te..

PyTorch에서 모델 일부분의 학습을막기 위해서는 해당 부분의 매개변수에 대해 requires_grad 속성을 False로 설정하면 된다. 이를 통해 그 매개변수에 대한 gradient가 계산되지 않아 웨이트가 업데이트되지 않는다. 기본적으로 model.named_parameters() 메서드를 사용하여 name과 param을 추출하고 원하는 name의 레이어만 requires_grad를 변경할 수 있다. 모델 프리징 예시 - Resnet 예시 import torch import torch.nn as nn import torchvision.models as models # ResNet-50 모델 불러오기 (pre-trained) resnet50 = models.resnet50(pretrained=Tr..