[논문 리뷰] Material Recognition from Local Appearance in Global Context

2022. 2. 11. 02:56·🏛 Research/Material & Texture Recognition
반응형

2016 arXiv에 게재된 논문이지만, material recognition에 context information 을 explict 하게 활용하는 연구이기에 소개합니다.

 

Motivation

좌측 그림에서 컵의 표면만 보면 종이인지 플라스틱인지 금속인지 사람이 봐도 재질 유형을 파악하기 어렵습니다. 하지만, '컵' 이라는 object 정보를 얻으면 컵 + 색상으로 미루어 보아 해당 표면은 '플라스틱'이라는 것을 유추할 수 있습니다. 

 

이렇듯 material은 object, scene과 같은 context information과 깊은 상관관계가 있습니다. 우측 그림의 위쪽 표를 보면 airplane에는 metal이 주로 관측되고 sink에는 ceramic, metal 등이 주로 관측됩니다. 아래 쪽 표를 보면 Botanical Garden 에는 Foilage가, Harbor에는 water가 주로 관측됩니다. 

 

물론 인공적으로 가공된 공간에는 이러한 context 정보가 재질 분류에 방해될 수 있지만, real world의 자연스러운 공간에서는 object와 scene 과 같은 context 정보를 알고 있다면 재질을 분류하는데 도움이 될 것이라 가정할 수 있습니다.

 

기존 네트워크들은 이러한 context information을 implicit 하게 이미 이용하고 있습니다. CNN의 receptive field가 network가 깊어지면서 점점 커지기 때문입니다. 하지만, 본 논문에서는 context information을 explicit 하게 intergrate하여 material semantic segmentation 성능을 향상시킬 수 있음을 보여줍니다.

 

* context information : 문맥 정보라고 해석할 수 있는데, 어떤 객체가 있을 때 객체를 둘러싼 주변의 정보를 칭한다. 

 

 

Proposed Methods

material segmentation network(main-network)에 object, scene 정보를 explicit 하게 제공하기 위해 이미 scene, object로 pre-train 된 network가 필요합니다. input 이미지를 scene, object network에 포워드시켜서 얻어진 feature map을 main-network의 output feature map에 channel축으로 concat 시키는 방식으로 context information을 통합합니다. 이 후 통합된 feature map에 conv layer를 거쳐서 최종 material segmenation을 수행하게 됩니다.

 

context 정보를 통합하는 방법은 명확하고 간단하지만, 재질 분류를 위해 pre-train 된 network가 추가적으로 필요하다는 것이 큰 단점(파라미터 수, 계산량)인 것 같습니다.

 

Experimental Results

실험 결과를 보면 큰 차이로 scene(place), object 와 같은 context 정보를 통합했을 때 결과가 좋습니다.

 

사실 명확한 비교를 하려면 비슷한 파라미터 수를 가지도록 two-stream network 를 training 시킨 네트워크를 base model 로 삼아야 할 것 같습니다. 단순히 파라미터만 증가시켜도 결과가 좋아질 수 있기 때문입니다. 

 

 

 

Proposed method가 비효율적이고 evaluation 방식의 신뢰도가 높지는 않지만, context information(object, scene)을 explicit 하게 활용하면 material recognition 성능을 향상시킬 수 있다는 것을 보여주는 연구 결과입니다.

반응형

'🏛 Research > Material & Texture Recognition' 카테고리의 다른 글

[논문 리뷰] Deep TEN: Texture Encoding Network  (0) 2022.02.17
[논문 리뷰] Deep Structure-Revealed Network for Texture Recognition  (0) 2022.02.12
[논문 리뷰] Recognizing Materials Using Perceptually Inspired Features  (0) 2021.10.16
[논문 리뷰] Differential Angular Imaging for Material Recognition  (0) 2021.10.11
[논문 리뷰] A 4D Light-Field Dataset and CNN Architectures for Material Recognition  (0) 2021.10.06
'🏛 Research/Material & Texture Recognition' 카테고리의 다른 글
  • [논문 리뷰] Deep TEN: Texture Encoding Network
  • [논문 리뷰] Deep Structure-Revealed Network for Texture Recognition
  • [논문 리뷰] Recognizing Materials Using Perceptually Inspired Features
  • [논문 리뷰] Differential Angular Imaging for Material Recognition
뭅즤
뭅즤
AI 기술 블로그
    반응형
  • 뭅즤
    CV DOODLE
    뭅즤
  • 전체
    오늘
    어제
  • 공지사항

    • ✨ About Me
    • 분류 전체보기 (196)
      • 📖 Fundamentals (33)
        • Computer Vision (9)
        • 3D vision & Graphics (6)
        • AI & ML (15)
        • NLP (2)
        • etc. (1)
      • 🏛 Research (63)
        • Deep Learning (7)
        • Image Classification (2)
        • Detection & Segmentation (17)
        • OCR (7)
        • Multi-modal (4)
        • Generative AI (6)
        • 3D Vision (2)
        • Material & Texture Recognit.. (8)
        • NLP & LLM (10)
        • etc. (0)
      • 🌟 AI & ML Tech (7)
        • AI & ML 인사이트 (7)
      • 💻 Programming (85)
        • Python (18)
        • Computer Vision (12)
        • LLM (4)
        • AI & ML (17)
        • Database (3)
        • Apache Airflow (6)
        • Docker & Kubernetes (14)
        • 코딩 테스트 (4)
        • C++ (1)
        • etc. (6)
      • 💬 ETC (3)
        • 책 리뷰 (3)
  • 링크

  • 인기 글

  • 태그

    객체 검출
    material recognition
    OpenCV
    객체검출
    deep learning
    GPT
    nlp
    VLP
    딥러닝
    Computer Vision
    LLM
    3D Vision
    도커
    Image Classification
    airflow
    Python
    파이썬
    OCR
    AI
    ChatGPT
    프롬프트엔지니어링
    pytorch
    CNN
    object detection
    multi-modal
    segmentation
    pandas
    Text recognition
    컴퓨터비전
    OpenAI
  • 최근 댓글

  • 최근 글

  • hELLO· Designed By정상우.v4.10.3
뭅즤
[논문 리뷰] Material Recognition from Local Appearance in Global Context
상단으로

티스토리툴바