Class Imabalance 문제를 해결하는 방법을 제안하는 CVPR 2019에 공개된 논문을 소개합니다. 이번 리뷰는 문제 정의와 해결하는 방법을 개념적으로 설명합니다. (디테일 제외) Class Imbalance ? Class Imbalance 문제라는 것은 딥러닝에서 네트워크를 학습시킬 때 사용되는 training data 의 class 개수가 balance 가 맞지 않는 상황을 말합니다. 실제 데이터에서는 매우 빈번한 일이기에 중요한 task 라고 볼 수 있습니다. 학계에서는 Long tail data 라는 데이터 개수가 많은 class 부터 아주 적은 class 까지 다양하게 분포하는 데이터셋을 사용하여 class imabalance 문제에서 성능을 비교합니다. 일반적인 해결 방법 ? Clas..

ICLR 2017 에 발표된 논문으로 제목 그대로 end-to-end 방식으로 이미지 압축 딥러닝 모델을 최적화하는 방법을 제안하는 논문입니다. 이 분야에 대한 지식이 그렇게 많지 않아서 논문 리뷰가 허술(?)할 수 있습니다... ㅎ - 기본적인 영상 압축 설명 : https://mvje.tistory.com/86?category=1033082 영상 압축 - JPEG, MPEG 영상 압축 관련 내용을 다시 공부할 기회가 생겨서 까먹기 전에 정리합니다! 미디어 데이터는 기하급수적으로 많아지고 이를 저장할 공간은 물리적으로 한계가 있기 때문에 영상 압축은 중요한 mvje.tistory.com Abstract Nonlinear analysis transformation, uniform quantizer, no..

Self-spuervised learning 에서 좋은 성능을 내는 Contrasive learning 이라는 개념을 소개하기 위해 ICML2020에 게재된 본 논문을 설명합니다. 아래 사이트에 그림으로 설명이 잘 되어 있어서, 자세한 내용은 참고바랍니다. https://amitness.com/2020/03/illustrated-simclr/ Contrasive Learning 우선, contrasive learning 은 2개의 input을 네트워크에 주입했을 때, 이들이 similar 한 input 인지 different한 input 인지를 구별해주기 위한 학습 방법입니다. 예를 들어, 아래 그림에서는 Image는 고양이와는 similar 하고 강아지, 코끼리와는 different 합니다. 그런데, ..

NLP 분야에서 이슈가 되었던 transformer('Attention Is All You Need/NIPS2017')구조를 vision task에 접목한 Vision Transformer(ViT)와 ViT에서 개선된 구조인 Swin Transformer에 대해 설명합니다. * 논문 A. AN IMAGE IS WORTH 16X16 WORDS: TRANSFORMERS FOR IMAGE RECOGNITION AT SCALE / ICLR2021 B. Swin Transformer: Hierarchical Vision Transformer using Shifted Windows / ICCV2021 1. Vision Transformer (ViT) Computer vision 분야에서 기존의 self attent..

Non-local network 정리... CNN 은 얕은 layer에서는 spatial domain에서의 local한 영역의 correlation을, 깊은 layer에서는 상대적으로 global한 영역까지의 correlation을 추출하는 local operator 로 볼 수 있습니다. 또한 layer가 깊어지더라도 한번의 연산에서 전체 영역의 correlation을 추출하는 non-local 연산과는 차이가 있습니다. 때문에 CNN은 spatial domain 또는 temporal domain 상에서 거리가 먼 feature 들간의 correlation이 추출되기 힘든 구조입니다. 본 논문은 이를 개선하기 위한 Non-local operation을 제안합니다. 아래 그림은 non-local block..

ICLR 2021에 개제된 논문이며 object와 shape, texture와의 관계, 그리고 object recognition 등의 vision task에서 shape과 texture 정보를 모두 이용하여 학습하여 성능을 향상시킨 shape-texture debiased neural network를 제안합니다. Introduction Shape과 texture는 모두 object를 인식할 때 중요한 단서들입니다. 이미 이전의 object recognition 연구에서 shape과 texture를 적절하게 결합하면 인식 성능을 높일 수 있음이 밝혀졌습니다. ‘IMAGENET-TRAINED CNNS ARE BIASED TOWARDS TEXTURE; INCREASING SHAPE BIAS IMPROVES A..