Open AI에서 게재한(ICML2021) Contrastive Language-Image Pre-training(CLIP)를 제안한 논문을 소개합니다. Introduction & Motivation 딥러닝이 computer vision의 거의 모든 분야에서 굉장히 잘 활용되지만 현재 접근 방식에는 몇가지 문제가 있습니다. 기존의 vision model들은 학습된 task에는 성능이 우수하지만 새로운 task에 적용시키기 위해서는 새로 학습을 시키야 하는(그러면 새로운 데이터셋과 추가 레이블링이 필요..) 번거로움(?) 이 있습니다. 벤치마크에서 잘 수행되는 몇몇 model들은 stress test에서 좋지 않은 결과를 보여주기도 합니다. 대안으로 raw text와 image를 pair로 학습시키는 방법..

CVPR 2019 에 공개된 논문으로, image classification 등의 vision 분야에서 참고하면 좋을 여러 training 방법론을 정리 및 실험한 논문입니다. Introduction Image classification task에서 성능을 높이기 위해서는 더 좋은 더 큰 network 를 쓰면 되지만, network를 변경하는 것 이외에도 성능을 좌지우지하는 많은 요소들이 존재합니다. 본 논문에서는 ResNet50을 기준으로 network architecture는 크게 변경하지 않고 여러 Trick 들을 실험한 결과를 제공합니다. 결과적으로, 여러 trick들을 적용하면 적용 이전보다 ImageNet Top-1 accuracy가 4% 가량이나 증가한다는 것을 보여줍니다(위의 Table ..

본 포스팅에서는 Deep Texture Encoding Network(DeepTEN)의 업그레이드 버전인 Deep Encoding Pooling Network(DEP-Net)과, DEP-Net과 Differential Angular Imaging Network(DAIN) 구조를 융합한 Texture-Encoded Angular Network(TEAN) 를 소개합니다. A. Deep Texture Manifold for Ground Terrain Recognition / CVPR 2018 B. Differential Viewpoints for Ground Terrain Material Recognition / TPAMI 2020 A. Deep Texture Manifold for Ground Terrain..

CVPR 2017에 게재된 본 논문은 classic한 computer vision approach인 dictionary learning 방법을 CNN 구조와 통합하여 end-to-end 로 material, texture 이미지의 orderless representation을 학습하는 DeepTEN 을 제안합니다. Abstract 본 논문에서는 dictionary learning 및 encoding 파이프라인을 single model로 포팅하는 encoding layer가 있는 Deep Texture Encoding Network(Deep TEN)을 제안합니다. 이전 method에서는 SIFT descriptor 또는 material recognition으로 pre-trained CNN feature와 ..

CVPR 2020에 게재된 texture recognition 분야 논문입니다. Texture의 고유한 구조적인 특징을 분석하고 이를 활용하는 네트워크를 제안하여 texture recognition SOTA를 달성하고 ablation, main 실험 이외에도 fine-grained recognition, semantic segmenation 과 같은 응용 실험까지 포함된 논문입니다. Abstract Texture recognition은 다양한 primitive와 arrangement 가 동일한 texture 이미지에서 인식될 수 있기 때문에 어려운 task 입니다. CNN을 기반으로 한 최근 작업 중 일부는 spatial arrangement에 invariant 하도록 orderless aggregati..

2016 arXiv에 게재된 논문이지만, material recognition에 context information 을 explict 하게 활용하는 연구이기에 소개합니다. Motivation 좌측 그림에서 컵의 표면만 보면 종이인지 플라스틱인지 금속인지 사람이 봐도 재질 유형을 파악하기 어렵습니다. 하지만, '컵' 이라는 object 정보를 얻으면 컵 + 색상으로 미루어 보아 해당 표면은 '플라스틱'이라는 것을 유추할 수 있습니다. 이렇듯 material은 object, scene과 같은 context information과 깊은 상관관계가 있습니다. 우측 그림의 위쪽 표를 보면 airplane에는 metal이 주로 관측되고 sink에는 ceramic, metal 등이 주로 관측됩니다. 아래 쪽 표를 보..