3D 스캔, CT 이미지, Neural Radiance Field(NeRF), Signed Distance Function(SDF) 등에서 사용되는 3D 데이터는 대부분 density field 혹은 scalar field로 표현된다. 이러한 volumetric data는 각 3차원 좌표에 어떤 값(예: 밀도, 거리 등)이 할당된 형태일 뿐이며, 겉보기에는 단순한 숫자들의 집합에 불과하다. 하지만 우리가 3D 데이터를 직관적으로 이해하고 시각화하기 위해서는, 이 값들의 분포를 기반으로 어디가 물체이고 어디가 배경인지, 즉 surface가 어디에 존재하는지를 알아야 한다. 이처럼 연속적인 값의 필드에서 의미 있는 3D mesh을 추출하는 작업이 필요하며, 이때 널리 사용되는 대표적인 알고리즘이 바로 Mar..

3D Object Scanning 3D Object Scanning은 multi-view stereo (MVS) 기술을 활용하여 객체의 3D shape을 복원하는 기술이다. 아래 영상을 보면 Niantic이라는 기업에서 Unity SDK에 빠른 non-lidar 스캔 툴을 추가하여 사용자가 객체를 실시간으로 스캔할 수 있게 한다. 스마트폰으로 객체를 다양한 각도에서 촬영하고 객체를 복원하는데 품질이 꽤 좋아보인다. 또한 RealityScan과 같은 앱을 사용하면 스마트폰으로 간단하게 3D 스캔을 경험해 볼 수도 있다. Niantic 기업의 Object Scanning 예시 RealityScan - 3D Scanning App의 결과 예시 출처 : https://sketchfab.com/3d-models..

본 포스팅에서는 Visual Localization에서 핵심이 되는 기술 중 하나인 Structure From Motion (SfM) 에 대해 다룬다. SfM은 2D 이미지로부터 3D 구조와 카메라의 위치(pose)를 복원하는 기술로, 여러 장의 이미지만으로 장면의 3차원 구조를 재구성할 수 있다. 이 글에서는 복잡한 수식 없이, 각 단계의 목적과 의미에 집중하여 SfM의 전체 파이프라인을 소개하고자 한다. SfM은 일반적으로 COLMAP과 같은 도구에서 사용되며, COLMAP은 GUI를 제공하는 강력한 SfM & MVS 파이프라인이다. 정렬된 이미지뿐 아니라 정렬되지 않은 여러 뷰 이미지들만 입력해도, 자동으로 카메라의 위치와 3D 구조를 복원해준다. 이러한 특성 덕분에 SfM은 Visual SLAM,..