[논문 소개] TAM (Track Anything Model) | 어떤 것이든 추적하는 Vision AI 모델 | Sagment Anything 비디오 버전

Track Anything: Segment Anything Meets Videos

 

세상 참 빠르다. Meta AI의 SAM (Segment Anything Model)이 나온지 얼마나 됐다고 SAM을 비디오에 적용해 tracking task를 수행하는 TAM (Tracking Anything Model) 논문이 나왔다고 한다.

 

Track-Anything은 비디오 객체 추적 및 분할을 위한 유연한 대화형 도구로 Segment Anything에서 개발되었으며 사용자 클릭을 통해서만 추적 및 세그먼트화할 항목을 지정할 수 있다. 추적하는 동안 사용자는 추적하려는 개체를 유연하게 변경하거나 모호한 부분이 있는 경우 관심 영역을 수정할 수도 있다. 이러한 특성을 통해 Track-Anything은 다음과 같은 작업에 적합하다고 한다.

 

• shot 변경으로 비디오 객체 추적 및 분할.
• 비디오 객체 추적 및 세분화를 위한 시각화된 개발 및 데이터 어노테이션
• 비디오 인페인팅 및 편집과 같은 객체 중심 다운스트림 비디오 작업

 

Multiple Object Tracking and Segmentation

• 다중 객체를 추적

 

Video Object Tracking and Segmentation with Shot Changes

• 장면 변환 시에도 객체를 그대로 추적

 

Video Inpainting 

• 비디오 인페인팅