[Meta AI] SAM (Segment Anything Model) 사용 방법 | 모든 객체를 분할하는 Vision AI 모델

SAM (Segment Anything Model)

 
Meta 에서 SAM (Segment Anything Model) 이라는 어떤 것이든 분할할 수 있는 모델을 공개했다. 논문 제목 자체가 'Segment Anything' 인데 굉장히 자신감 넘치는 워딩이다. 
 
간단한 설명을 살펴보면, SAM은 point나 box와 같은 입력 프롬프트를 통해 고품질 객체 마스크를 생성하며 모든 객체에 대한 마스크를 생성하는 데 사용할 수 있다고 한다. 약 1,100만 개의 이미지와 11억 개의 마스크로 구성된 데이터셋으로 학습되었으며 다양한 segmentation task에서 강력한 zero-shot 성능을 보인다고 한다.
 
 
Segment Anything 웹데모

Segment Anything

 

 
Meta AI에서 SAM의 웹데모를 제공하고 있어 다양한 샘플 이미지나 업로드한 이미지로 SAM 모델을 사용해 볼 수 있다. 앞서 말한대로 이미지에서 점을 찍거나 박스를 그려 객체를 분할하거나 이미지 전체에 대한 객체 분할을 실행할 수도 있다.
 
코드를 사용하여 SAM 모델을 사용 시 더욱 다양한 응용이 가능하므로 구글 코랩을 이용한 튜토리얼을 진행해 보고자 한다. (튜토리얼 코드)
 

SAM 튜토리얼 #1 - 자동 분할

 
첫 번째 튜토리얼은 포인트나 박스 입력 없이 자동으로 객체를 분할하는 방법이다. 물론 자동이더라도 각종 파라미터를 조절하여 디테일을 변경할 수 있다.

 

• 우선 SAM을 실행하기 위한 환경 설정 필요
• output 마스크를 보여주기 위한 함수 선언

 

• 다운받은 'dog.jpg'를 사용해도 되지만 예시처럼 이미지를 업로드해서 사용 가능
• 업로드하는 경우 바이트 데이터를 변환하는 과정 필요 (위 코드 참고)

 

 

• 이미지 입력만으로 객체 분할
• Default 파라미터 값으로 실행

 

• mask generator의 파라미터를 변경하여 객체 분할

 
 

SAM 튜토리얼 #2 - 선택 분할

두 번째 튜토리얼은 포인트나 박스 입력으로 객체를 분할하는 방법이다. 자동 방법에 비해 원하는 결과를 얻기 쉽고 박스와 포인트의 조합 등으로 꽤 디테일한 객체 분할이 가능하다. (e.g. 자동차 바퀴에서 휠을 제외한 타이어만 분할)
 

*환경 세팅은 생략

• 원하는 이미지를 업로드할 수도 있고 다운받은 'truck.jpg' 이미지도 사용 가능

 

 

• 포인트로 객체 분할을 하기 위해 이미지의 특정 위치에 좌표 설정
• 예제에서는 트럭의 창문에 포인트 지정

 

• multitask_output = True로 지정하여 mask가 3개 출력되고 이들은 계층적 분할 결과
• 예제의 경우 가장 작은 단위의 창문, 연결된 창문, 차량 전체를 분할

 

• 2개 이상의 포인트들로 포인트가 함께 공유하는 객체를 분할할 수 있음

 

• 포인트의 input_label을 설정하여(0또는 1) 특정 포인트는 포함하고 특정 포인트는 포함하지 않는 분할 가능
• 예제의 경우 첫 번째 포인트(트럭 창문)은 포함하고 두 번째 포인트(트럭 앞문)은 포함하지 않는 분할 결과를 보여줌

 

• 박스를 이용하여 박스 내부의 객체를 분할할 수도 있음

 

• 박스와 포인트의 조합으로 분할
• point_labels 설정으로 박스 내부의 포인트 부분은 제외한 segment를 추출 가능

 

 

• 하나의 이미지와 다중 입력 프롬프트로 여러 segment 추출 가능