Track Anything: Segment Anything Meets Videos 세상 참 빠르다. Meta AI의 SAM (Segment Anything Model)이 나온지 얼마나 됐다고 SAM을 비디오에 적용해 tracking task를 수행하는 TAM (Tracking Anything Model) 논문이 나왔다고 한다. Track-Anything은 비디오 객체 추적 및 분할을 위한 유연한 대화형 도구로 Segment Anything에서 개발되었으며 사용자 클릭을 통해서만 추적 및 세그먼트화할 항목을 지정할 수 있다. 추적하는 동안 사용자는 추적하려는 개체를 유연하게 변경하거나 모호한 부분이 있는 경우 관심 영역을 수정할 수도 있다. 이러한 특성을 통해 Track-Anything은 다음과 같은 작업..

DINOv2 논문 제목 : DINOv2: Learning Robust Visual Features without Supervision GitHub Demo 23년 4월 Meta AI에서 self-supervised learning을 사용하여 고성능 컴퓨터비전 모델을 학습하는 새로운 방법인 DINOv2를 공개했다. LLM(Large Language Model) 학습에도 활용되는 self-supervised learning 방법은 모델 학습 시 많은 양의 레이블이 지정된 데이터가 필요하지 않기 때문에 AI 모델을 학습하는 강력하고 유연한 방법이다. 논문에 따르면 최근 몇년 동안 컴퓨터비전 작업의 표준 접근 방식이었던 이미지-텍스트를 페어로 학습하는 멀티모달 방식의 학습 방법에서는 이미지의 캡션 정보에 의존한..

3D Object Scanning 3D Object Scanning은 multi-view stereo (MVS) 기술을 활용하여 객체의 3D shape을 복원하는 기술이다. 아래 영상을 보면 Niantic이라는 기업에서 Unity SDK에 빠른 non-lidar 스캔 툴을 추가하여 사용자가 객체를 실시간으로 스캔할 수 있게 한다. 스마트폰으로 객체를 다양한 각도에서 촬영하고 객체를 복원하는데 품질이 꽤 좋아보인다. 또한 RealityScan과 같은 앱을 사용하면 스마트폰으로 간단하게 3D 스캔을 경험해 볼 수도 있다. Niantic 기업의 Object Scanning 예시 RealityScan - 3D Scanning App의 결과 예시 출처 : https://sketchfab.com/3d-models..

Text to Image Generation Text to Image generation은 텍스트 정보를 입력으로 받아서 해당 텍스트에 해당하는 이미지를 생성하는 기술이다. 딥러닝 기술의 발전으로 인해 2010년대 중반부터 개발되기 시작해 2022년에는 OpenAI의 DALL-E 2 , Google Brain의 Imagen , StabilityAI의 Stable Diffusion 과 같은 최첨단 텍스트-이미지 모델의 출력물이 실제 사진과 사람이 그린 예술품의 품질에 접근하기 시작했다. Text to Image generation에서는 일반적으로 이러한 GAN(Generative Adversarial Networks) 모델을 텍스트와 이미지를 쌍으로 이루는 데이터셋을 학습시켜서 구현한다. 예를 들어, "..

본 논문은 Naver Clova에서 CVPR 2019 에 발표한 Text Detection 논문으로, CRAFT 라는 모델을 제안한다. Text Detection 분야에서 워낙 유명난 논문이고 개인적으로 텍스트 검출을 위해 텍스트의 특성과 딥러닝의 학습 특성을 아주 효율적으로 이용한 매력적인 연구라 생각한다. 자세한 설명은 다른 블로그에서도 잘 나와있으니 나는 모델 학습을 위한 핵심적인 부분만 정리하려 한다. CRAFT 모델의 핵심 CRAFT 모델은 텍스트 검출을 위해 단어 bbox를 바로 예측하는 것이 아니라, 문자의 위치를 나타내는 region score, 문자간 거리를 나타내는 affinity score를 예측 이를 위해서는 character-level annotation이 필요한데 문자 하나 하나..

본 논문은 CVPR 2021에서 발표된 Text Recognition 논문으로, TRBA 모델 ('What is wrong with scene text recognition model comparisons? dataset and model analysis')을 제안한 백정훈 님의 논문이기도 하다. 본문 내용 Scene Text Recognition (STR) 연구에서는 리얼 데이터가 부족하기 때문에 일반적으로 대규모 합성 데이터셋을 사용하여 학습을 진행한다. 때문에 암묵적으로 리얼 데이터만으로는 STR 모델 학습이 거의 불가능하다는 암묵적인 상식(?)이 있었다고 한다. 하지만 본 논문에서는 이 상식이 STR 연구를 방해했다고 말한다. 본 논문에서는 최근에 축적된 리얼 데이터셋을 통합하고 지정된 실제 데이..