본문 바로가기

🏛 Research/Deep Learning9

[논문 리뷰] SHAPE-TEXTURE DEBIASED NEURAL NETWORK TRAINING / 뉴럴 네트워크에서 shape과 texture의 관계 ICLR 2021에 개제된 논문이며 object와 shape, texture와의 관계, 그리고 object recognition 등의 vision task에서 shape과 texture 정보를 모두 이용하여 학습하여 성능을 향상시킨 shape-texture debiased neural network를 제안합니다. Introduction Shape과 texture는 모두 object를 인식할 때 중요한 단서들입니다. 이미 이전의 object recognition 연구에서 shape과 texture를 적절하게 결합하면 인식 성능을 높일 수 있음이 밝혀졌습니다. ‘IMAGENET-TRAINED CNNS ARE BIASED TOWARDS TEXTURE; INCREASING SHAPE BIAS IMPROVES A.. 2021. 12. 4.

[논문 리뷰] Learning to Compare: Relation Network for Few-Shot Learning / meta-learning, few shot learning 본 논문은 CVPR2018에 게재된 few shot learning 이라는 주제의 논문입니다. 딥러닝에서 데이터의 개수는 성능과 직결되지만, 현실적인 테스크에서 데이터 개수는 늘 부족할 수 밖에 없습니다. 이러한 limited data 문제를 해결하기 위해 data 차원에서는 data augmentation 방법이 존재하고, network 차원에서는 Un/Semi-supervised learning, Transfer learning, Meta learning 방법 등이 존재합니다. few shot learning은 meta learning 방식을 사용하여 적은 data 개수로 network를 학습시키는 방법론입니다. Meta learning에는 metric, model, optimization, GCN .. 2021. 10. 17.

[논문 리뷰] SKIP RNN: LEARNING TO SKIP STATE UPDATES INRECURRENT NEURAL NETWORKS / Long term sequence 문제를 해결하기 위한 시도 Introduction RNN은 sequence modeling 에서 뛰어난 성능을 보여주지만 long sequence에 대한 학습에서는 slow inference, vanishing gradient, long term dependency 같은 문제점이 발생한다. (*Long term seqeunce 에 의해 발생할 수 있는 문제 : throughput degradation, slower convergence, memory leakage...) 본 논문에서는 RNN의 state update를 건너뛰고 computation graph의 effective size를 줄이는 방법을 학습하여 기존 RNN 모델을 확장하는 'Skip RNN' 모델을 제안한다. 일반적으로 시퀀스를 단축하여(샘플링 속도를 줄이거나) .. 2021. 2. 18.

이전 1 2 다음

티스토리툴바