본문 바로가기

🏛 Research58

[논문 리뷰] Swin Transformer: Hierarchical Vision Transformer using Shifted Windows / 발전된 형태의 ViT NLP 분야에서 이슈가 되었던 transformer('Attention Is All You Need/NIPS2017')구조를 vision task에 접목한 Vision Transformer(ViT)와 ViT에서 개선된 구조인 Swin Transformer에 대해 설명합니다. * 논문 A. AN IMAGE IS WORTH 16X16 WORDS: TRANSFORMERS FOR IMAGE RECOGNITION AT SCALE / ICLR2021 B. Swin Transformer: Hierarchical Vision Transformer using Shifted Windows / ICCV2021 1. Vision Transformer (ViT) Computer vision 분야에서 기존의 self attent.. 2022. 1. 8.

[논문 리뷰] Non-local Neural Networks / Vision Transformer의 시초 Non-local network 정리... CNN 은 얕은 layer에서는 spatial domain에서의 local한 영역의 correlation을, 깊은 layer에서는 상대적으로 global한 영역까지의 correlation을 추출하는 local operator 로 볼 수 있습니다. 또한 layer가 깊어지더라도 한번의 연산에서 전체 영역의 correlation을 추출하는 non-local 연산과는 차이가 있습니다. 때문에 CNN은 spatial domain 또는 temporal domain 상에서 거리가 먼 feature 들간의 correlation이 추출되기 힘든 구조입니다. 본 논문은 이를 개선하기 위한 Non-local operation을 제안합니다. 아래 그림은 non-local block.. 2021. 12. 12.

[논문 리뷰] Pyramid Scene Parsing Network / PSPNet / Pyramid Pooling 본 논문은 CVPR2017에 게재되었으며 PSPNet(ImageNet scene parsing challenge 2016에서 1등)을 제안합니다. 현재는 더 성능이 좋은 연구가 많이 소개되었지만 semantic segmentation에 global contextual information을 활용하기 위한 Pyramid Pooling Module 을 정리하기 위해 리뷰를 작성합니다. Motivation 본 논문에서는 기존의 segmentation 알고리즘에 3가지 문제점이 있다고 지적합니다. (위 그림에서는 FCN 과 비교) 1) Mismatched Relationship : 주변 환경(contextual information)과 맞지 않는 픽셀 분류. 예를 들어 호수 근처의 자동차, 도로 위의 보트 같은.. 2021. 12. 5.

[논문 리뷰] Unified Perceptual Parsing for Scene Understanding / UperNet / Multi-task learning 본 논문은 ECCV 2018에 게재된 논문으로 다양한 visual concepts 인식하는(multi-task learning) Unified Perceptual Parsing 이라는 새로운 task 를 제안합니다. Introduction 위 그림은 거실(scene)에 테이블, 그림, 벽과 같은 다양한 객체(object)로 이루어져있고 동시에 테이블은 테이블 다리, 상판, apron(part) 등으로 구성되어 있습니다. 또한 테이블은 나무(material)로 만들어졌고 소파 표면은 kinitted(texture) 되어 있습니다. 이러한 카테고리들은 scene understanding, object/material/part/texture recognition task에서 각각 독립적으로 수행되어 왔습니다... 2021. 12. 4.

[논문 리뷰] SHAPE-TEXTURE DEBIASED NEURAL NETWORK TRAINING / 뉴럴 네트워크에서 shape과 texture의 관계 ICLR 2021에 개제된 논문이며 object와 shape, texture와의 관계, 그리고 object recognition 등의 vision task에서 shape과 texture 정보를 모두 이용하여 학습하여 성능을 향상시킨 shape-texture debiased neural network를 제안합니다. Introduction Shape과 texture는 모두 object를 인식할 때 중요한 단서들입니다. 이미 이전의 object recognition 연구에서 shape과 texture를 적절하게 결합하면 인식 성능을 높일 수 있음이 밝혀졌습니다. ‘IMAGENET-TRAINED CNNS ARE BIASED TOWARDS TEXTURE; INCREASING SHAPE BIAS IMPROVES A.. 2021. 12. 4.

[논문 리뷰] Learning to Compare: Relation Network for Few-Shot Learning / meta-learning, few shot learning 본 논문은 CVPR2018에 게재된 few shot learning 이라는 주제의 논문입니다. 딥러닝에서 데이터의 개수는 성능과 직결되지만, 현실적인 테스크에서 데이터 개수는 늘 부족할 수 밖에 없습니다. 이러한 limited data 문제를 해결하기 위해 data 차원에서는 data augmentation 방법이 존재하고, network 차원에서는 Un/Semi-supervised learning, Transfer learning, Meta learning 방법 등이 존재합니다. few shot learning은 meta learning 방식을 사용하여 적은 data 개수로 network를 학습시키는 방법론입니다. Meta learning에는 metric, model, optimization, GCN .. 2021. 10. 17.

이전 1 ··· 6 7 8 9 10 다음

티스토리툴바