이미지 분류와 객체 검출의 장단점 | 이미지 분류 vs 객체 검출

 

이미지 분류와 객체 검출의 차이

영상을 이해하는 두 가지 주요 접근 방식은 이미지 분류와 객체 검출(감지)이다. 객체 검출은 이미지 내에서 여러 객체를 식별하고 위치를 파악할 수 있지만, 이미지 분류는 전체 이미지에 단일 레이블 또는 범주를 예측하는 데 중점을 둔다는 차이가 있다. 카테고리를 분류하는 classification에 위치를 파악하는 localization 기능이 추가된 것이 detection이기 때문에 기본적으로 객체 검출이 이미지 분류보다 더 많은 정보를 제공하는 기술이다.

 

얼핏 보기에는 객체 검출이 더 좋아보이지만, 이미지 분류 기술이 실용성과 효율성 측면에서 객체 검출을 능가하는 상황도 존재한다. 객체 검출과 이미지 분류 중 적절한 기술을 선택하기 위해 어떤점들을 고려하면 좋을지 알아보도록 하자. 

Single-Object Recognition (단일 객체 인식)

기본 목표가 이미지 내에서 단일 주요 객체를 인식하고 분류하는 시나리오에서 이미지 분류가 가장 간단하고 효율적인 접근 방식이다. 이미지 분류기는 여러 개체를 감지하고 위치를 지정하는 대신 이미지 전체를 빠르게 분석하고 개체 범주에 대한 정확한 예측을 제공할 수 있기 때문이다. 이 접근 방식은 안면 인식, 종 식별 또는 품질 관리 프로세스와 같은 애플리케이션에 특히 유용하다.

제한된 학습 데이터

물체 감지 모델은 종종 물체를 정확하게 감지하고 로컬라이징하기 위해 상당한 양의 레이블이 지정된 학습 데이터가 필요하다. 이러한 데이터셋을 수집하고 어노테이션(정답 정보)을 생성하는 것은 많은 시간과 비용이 소모된다. 반면 이미지 분류 모델은 일반적으로 객체 경계가 아닌 이미지의 전체 내용에 초점을 맞추기 때문에 학습을 위해 필요한 어노테이션이 훨씬 간단하다. 이미지 하나가 어떤 카테고리인지에 대한 정답 정보만 가지고 있으면 되기 때문이다. (객체 검출은 객체의 위치를 추정하기 위해 객체의 카테고리와 더불어 객체의 위치 정보(bounding box)가 필요)

 

때문에 학습 데이터를 구축하는 데 사용할 리소스가 많지 않다면 이미지 분류가 객체 검출보다 더 좋은 선택일 수 있다.

 

리소스 제약

객체 감지 모델은 일반적으로 이미지 분류 모델보다 더 크고 인퍼런스 시간이 오래 걸린다. 이미지 내에서 여러 개체를 감지하려면 각 개체를 정확하게 식별하고 위치를 파악하기 위한 복잡한 계산이 필요하기 때문이다. 모바일 장치 또는 임베디드 시스템과 같이 리소스가 제한된 환경에서 이미지 분류 모델은 보다 가벼운 대안을 제공한다. 

Semantic Understanding (의미론적 이해)

이미지 분류는 객체 감지에 비해 더 높은 수준의 의미론적 이해를 제공할 수 있다. 전체 이미지에 단일 레이블을 할당함으로써 이미지 분류기는 시각적 콘텐츠 뒤에 있는 더 넓은 컨텍스트와 의미를 캡처할 수 있다. 이 의미론적 이해는 감정 분석, 콘텐츠 조정 또는 의료 진단과 같은 작업과 특히 관련이 있다. 객체 경계에만 초점을 맞추는 대신 이미지 분류를 통해 이미지 구성을 전체적으로 분석하여 보다 정확하고 포괄적인 통찰력을 얻을 수 있다.

 

하지만 이미지 안에 여러 객체가 함께 포함되어 있다면 이미지 분류기 뒷단에서 더 많이 activate된 feature를 토대로 객체를 분류하는 오류가 존재한다. 예를 들어 동물을 분류하는 이미지 분류기에 고양이, 강아지, 토끼가 함께 있는 이미지를 입력하면 가장 또렷한 특징을 가진 동물로 분류하게 된다는 뜻이다. 또는 학습 카테고리에 없던 이미지를 입력하는 경우에도 학습 카테고리 중 하나를 선택하는 오류를 범할 수도 있다. 

 

해석 가능성과 설명 가능성

특정 영역에서는 해석 가능성과 설명 가능성이 굉장히 중요한 이슈이다. 이미지 분류 모델은 객체 검출 모델에 비해 해석하고 설명하기 쉬운 경우가 많다. 이미지에 단일 레이블을 제공함으로써 분류 결정을 이끌어낸 기본 시각적 단서를 식별하는 것이 비교적 간단하기 때문이다. 이러한 투명성은 분류 이면의 추론을 정당화하고 이해하는 것이 필수적인 법적, 의료 또는 안전에 중요한 응용 프로그램에 도움이 될 수 있다.

---

 

객체 검출은 영상에서 객체의 위치를 찾고 카테고리를 분류하는 강력한 방법이지만, 이미지 분류만의 고유한 강점과 이점도 있다. 때문에 우리는 풀어야 할 문제의 특성을 파악하고 객체 검출과 이미지 분류의 장단점을 고려하여 적절한 방법을 선택하는 것이 중요하다. 

 

주로 유저가 직접 촬영한 이미지를 분석하기 위해서는 객체 검출이 더 유리한 경우가 많다. 굉장히 다양한 형태의 데이터가 유입되기 때문이다. 하지만 제한된 조건 속에서 촬영된 이미지를 입력받는 경우 이미지 분류가 더 유리할 수도 있다.