2023년 컴퓨터비전 분야 트렌드 with CVPR 2023 | Diffusion model, NeRF, Multi-modal

CVPR 2023에 accpet된 논문들을 기준으로 컴퓨터비전 분야의 트렌드에 대해 살펴 보려 한다. 내가 분석한 것은 아니고 아래 페이지를 참고해서 쓴 글이니 더 자세한 내용을 원문을 참고하길 바란다.

 

- https://voxel51.com/blog/cvpr-2023-and-the-state-of-computer-vision/

 

 

CVPR 2023 분석 요약

CVPR 2023 word cloud

- 9155건의 제출물 중 2359건의 논문 채택
- 평균 합격 논문 저자의 수는 5.4명
- 63%의 제목에 두문자어(acronyms) 사용 (단어 앞글자 따서 만든 줄임말)
- Diffusion Model이 573% 상승
- Multi-modal과 Cross-modal 이 미래
- CNN은 68% 감소
- Mask는 어디에나 사용
- 포인트클라우드는 depth & stereo에서 native 3D로 전환
- 가장 많이 사용된 데이터셋 : ImageNet, COCO, KITTI

 

 

요약된 내용을 보니 확실히 generative model, NeRF, multi-modal 분야가 인기가 많다. 또한 CNN 관련 연구는 감소하고 있으며 2022년에 이어 Transformer 모델은 여전히 강세이다. 

 

 

CVPR 2023 상세 분석

 

Models

• Diffusion Models
  • 이미지 생성 모델과 같은 diffusion 모델에 대한 연구가 많아짐.
  • 노이즈 제거, 이미지 편집 및 스타일 트랜스퍼에도 사용됨
• Radiance Fields
  • NeRF에 대한 인기가 높아져 radiance라는 단어의 사용이 80% 증가하고 NeRF의 경우 39% 증가
  • NeRF는 개념 증명을 넘어 editing, application 등으로 연구 진행.
• Transformers
  • Transformer와 ViT의 감소는 트랜스포머 모델의 유행이 지났다는 의미가 아니라 2022년에 이들 모델에 대한 연구가 지배적이었다는 것을 뜻함
  • Transformer 단어는 2021년에 37개의 논문에서, 2022년에는 201개의 논문에서 사용
• Changing of the guard
  • 68% 하락한 CNN은 선호도가 떨어지는 것으로 보임
  • CNN과 Transformer를 함께 언급하는 논문 제목도 많아짐

 

Tasks

• Generative
  • 감지, 분류 및 세그멘테이션 같은 기존의 task는 인기를 끌지 못함
  • 하지만 'Editing'에 대한 증가율에서 알 수 있듯이 이미지 생성 분야에 대한 관심이 높아지고 있음
• Masks
  • Mask라는 키워드는 전년대비 263% 증가
  • context of segmentation에서 발생
  • 하지만 대다수(63%)는 실제로 'masked'된 작업을 참조
• Zero vs Few
  • Zero-shot 학습은 transfer learning, generative 접근 방식, prompting 등에 의해 주목 받고 있음
  • Few-shot은 작년에 비해 감소했지만 절대적인 수치는 Few-shot이 Zero-shot보다 많음

 

 

 

 

Modalities

• Multi-modal
  • 통계를 보면 CV분야와 NLP 분야의 경계가 점점 흐려지고 있는 것을 볼 수 있음
  • image, video 와 같은 키워드의 빈도는 상대적으로 변하지 않았지만, text, language, audio 등의 키워드는 꾸준히 상승
  • Open, Prompt, Vocabulary 키워드의 급격한 상승으로 알 수 있듯이 시각 언어 작업에서 두드러짐
• Point Cloud
  • 3D 컴퓨터비전 애플리케이션은 2D 이미지에서 3D 정보를 추론하는 것에서 3D 포인트 클라우드 데이터를 직접 학습하는 방향으로 변화되어 가고 있음