[CV] SFM (Structure From Motion) : 연속된 2D 이미지들로 카메라 포즈와 3D shape 재구성하기

본 포스팅에서는 Visual Localization에서 핵심이 되는 기술 중 하나인 Structure From Motion (SfM) 에 대해 다룬다. SfM은 2D 이미지로부터 3D 구조와 카메라의 위치(pose)를 복원하는 기술로, 여러 장의 이미지만으로 장면의 3차원 구조를 재구성할 수 있다.

 

이 글에서는 복잡한 수식 없이, 각 단계의 목적과 의미에 집중하여 SfM의 전체 파이프라인을 소개하고자 한다.

 

SfM은 일반적으로 COLMAP과 같은 도구에서 사용되며, COLMAP은 GUI를 제공하는 강력한 SfM & MVS 파이프라인이다. 정렬된 이미지뿐 아니라 정렬되지 않은 여러 뷰 이미지들만 입력해도, 자동으로 카메라의 위치와 3D 구조를 복원해준다. 이러한 특성 덕분에 SfM은 Visual SLAM, AR/VR, 로보틱스, 디지털 트윈 등 다양한 공간 인식 응용에서 널리 활용되고 있다.

 

* SFM과 유사한 알고리즘?

SfM(Structure from Motion)과 유사한 기술로는 SLAM(Simultaneous Localization and Mapping)과 Visual Odometry(VO)가 있다. 이 세 기술은 모두 이미지 또는 센서 데이터를 기반으로 3D 공간 정보를 복원하고 카메라의 움직임을 추정한다는 점에서 공통점이 있지만, 사용 목적과 동작 방식에서 차이가 있다.

Visual Odometry는 연속된 이미지 또는 센서 프레임 사이의 상대적인 카메라 이동(trajectory)을 추정하는 기술이다. 일반적으로 loop closure나 지도 생성(map building)은 포함하지 않는다. SLAM은 VO에 loop closure 기능이 추가된 형태로, 카메라의 위치를 추정하면서 동시에 환경의 3D 지도까지 함께 구축한다. 주로 로봇이나 자율주행 차량, AR 기기 등에서 실시간(real-time)으로 동작하도록 설계되어 있으며, 경량화된 알고리즘이 선호된다. 반면 SfM은 오프라인에서 동작하는 방식으로, 실시간성이 요구되지 않기 때문에 상대적으로 더 정밀하고 계산량이 많은 처리가 가능하다. 다수의 이미지에서 카메라 포즈와 3D 포인트를 함께 복원하며, 주로 정적인 장면의 3D 복원에 사용된다.

 

* COLMAP의 SFM 은 2016년 CVPR에 "Structure-from-Motion Revisited" 논문에 설명되어 있음

 

SFM (Structure From Motion)

Structure From Motion

 

Structure from Motion(SfM)은 동일한 장면(Scene)을 다양한 시점(viewpoint)에서 촬영한 multi-view 이미지들을 입력으로 받아, 각 이미지의 카메라 자세(camera pose)와 3D 구조(3D structure)를 복원하는 기술이다. 일반적으로 SfM은 다음과 같은 세 가지 주요 단계로 구성된다.

1. Feature Detection and Extraction
   각 이미지에서 SIFT 등의 로컬 디스크립터를 통해 특징점(feature point)을 추출하고, 이러한 특징점이 radiometric 및 geometric 변화에 강건하도록 한다.
2. Feature Matching and Geometric Verification
   서로 다른 이미지 간의 동일한 특징점을 매칭하고, Epipolar Geometry를 활용하여 기하학적으로 유효한 매칭인지 검증한다. RANSAC 등의 알고리즘이 이 과정에서 활용된다.
3. Structure and Motion Reconstruction
   초기 이미지 쌍으로 reconstruction을 시작하고, PnP 및 Triangulation을 통해 카메라 자세와 3D 포인트를 점진적으로 추정한다. 마지막으로 Bundle Adjustment로 전체 구조를 최적화한다.

 

이러한 SfM 파이프라인은 COLMAP과 같은 GUI 기반 툴에서 잘 정리된 형태로 제공되며, 정렬되지 않은 다수의 이미지들을 입력으로 넣기만 해도 자동으로 카메라 포즈 추정 + 3D 구조 복원이 가능하다.

 

하지만 COLMAP의 reconstruction 성능을 높이기 위해서는 몇 가지 조건을 고려해야 한다. 다음과 같은 요소들이 충족되지 않으면 SfM 결과물은 품질이 낮아지거나, reconstruction 자체가 실패할 수 있다.

• Texture가 충분히 있는 이미지 사용
  특징점 추출과 매칭이 잘 되기 위해서는, 표면에 반복되지 않는 충분한 텍스처(texture) 정보가 필요하다. 단순하거나 균일한 표면(예: 흰 벽, 하늘 등)은 포인트가 거의 추출되지 않기 때문에 3D 복원이 어렵다.
• 유사한 조명 조건 유지
  조명이 급격히 다르면 동일한 물체라도 특징점이 다르게 추출되어 매칭이 실패할 수 있다. 가능한 한 유사한 밝기와 그림자 조건에서 촬영된 이미지를 사용하는 것이 좋다.
• 시각적으로 많이 중첩된 이미지 확보
  서로 다른 이미지들이 충분히 겹치는(=overlapping) 영역을 가져야, 동일한 포인트에 대한 robust한 매칭이 가능하다. 장면의 중첩도가 reconstruction의 품질을 좌우한다.
• 다양한 시점(viewpoint)에서의 이미지 확보
  단순히 카메라 위치만 바꾸기보다는, 다양한 각도에서 촬영된 이미지를 포함해야 보다 정확하고 입체적인 3D 구조를 얻을 수 있다. 특히 구조적인 복원이 목적일 경우 wide baseline 이미지가 효과적이다.

---

1. Correspondence Search

Structure from Motion(SfM)의 첫 단계는 여러 이미지 간의 공통된 영역(Scene Overlap)을 찾는 Correspondence Search이다. 이 과정의 결과물은 기하학적으로 유효성이 검증된 이미지 쌍(image pairs)과, 각 특징점이 어떤 이미지에 관측되었는지를 나타내는 image projection graph이다.

 

1.1. Feature Extraction

SfM에서는 각 이미지에서 고유한 모양을 식별할 수 있어야 하며, 이때 추출되는 특징점은 방사선 변화(radiometric)와 기하학적 변형(geometric)에 불변(invariant)해야 한다.

 

이를 위해 일반적으로 SIFT(Scale-Invariant Feature Transform)와 같은 강력한 로컬 디스크립터를 사용하여 각 이미지에서 feature를 추출한다.

 

1.2. Matching

Feature Matching

 

각 이미지에서 추출한 특징점들을 비교하여 서로 같은 물체의 동일한 위치를 바라보고 있는 지점들을 찾는다. 이 단계는 주로 외형적 유사성을 기준으로 하며, 아직 기하학적인 검증은 포함되지 않는다. 따라서 이 단계에서 잘못된 매칭(outlier)도 다수 포함될 수 있다

 

1.3. Geometric Verification

Epipolar Geometry

 

 

매칭된 feature들이 실제로 기하학적으로 일치하는지를 검증하는 단계이다. 이는 Epipolar Geometry 기반의 검증을 통해 수행된다.

두 이미지 간의 카메라 위치와 방향이 다르기 때문에, 동일한 3D 포인트가 각 이미지 상에서 관측되는 방식은 일정한 제약 조건을 따른다. 이 제약을 수학적으로 표현한 것이 Fundamental Matrix (uncalibrated) 또는 Essential Matrix (calibrated)이다.

 

이 매트릭스를 최소한의 매칭된 점들로부터 계산하고, 이 계산된 매트릭스가 전체 매칭을 얼마나 잘 설명하는지를 판단함으로써, 기하학적으로 타당한 매칭인지 검증할 수 있다.

 

 

Feature Matching after RANSAC

 

실제 매칭된 포인트 중에는 여전히 많은 outlier가 존재할 수 있기 때문에, RANSAC(Random Sample Consensus)과 같은 robust estimation 알고리즘을 사용한다. RANSAC은 무작위로 뽑은 소수의 매칭 점들로부터 여러 Essential/Fundamental matrix를 추정하고, 각 후보 모델이 전체 매칭에 대해 얼마나 많은 inlier를 포함하는지를 평가한다.

이 과정을 통해 기하학적으로 유효한 image pair와 그 사이의 inlier correspondence, geometric relation을 최종적으로 획득한다.

 

 

2. Incremental Reconstruction

이 단계에서는 앞서 얻은 이미지 간 correspondence 정보를 바탕으로 실제 3차원 구조를 복원한다. 입력은 image projection graph, 출력은 각 이미지의 카메라 pose (위치와 방향)와 scene의 3D 포인트들이다.

 

2.1. Initialization

SfM의 reconstruction은 일반적으로 2-view reconstruction으로 시작한다. 처음 시작할 이미지 쌍은 신중히 선택되어야 하며, 카메라 간 중첩이 충분하고 특징점 매칭이 풍부한 image pair를 선택하는 것이 중요하다. 초기 reconstruction 성능이 이후 전체 모델 품질에 큰 영향을 미치기 때문이다.

 

2.2. Image Registration

기존에 등록된 이미지들에 대해 3D 포인트와의 대응 관계가 존재할 때, 새로운 이미지를 등록하기 위해 PnP(Perspective-n-Point) 문제를 풀게 된다.

 

PnP는 3D 포인트와 해당 이미지 내의 2D 대응점이 주어졌을 때, 해당 이미지의 카메라 포즈(camera pose: 위치와 방향)를 추정하는 문제이다. 필요에 따라 카메라 내부 파라미터(intrinsic parameters)도 동시에 추정한다

 

2.3. Triangulation

 

동일한 3D 포인트를 서로 다른 카메라에서 관측했을 때 생기는 두 개의 광선(ray)은, 이상적으로는 하나의 3D 포인트에서 교차해야 한다. 하지만 실제 관측에는 잡음이 존재하기 때문에 정확히 교차하지 않고 엇갈리는 경우가 많다.

 

따라서 이 두 ray가 가장 가깝게 접근하는 지점을 삼각측량(triangulation)하여, 3D 포인트를 추정한다. 이 과정은 모델의 3차원 구조를 완성하고, 새로운 이미지 등록을 위한 추가적인 2D-3D correspondence를 제공하는 핵심 단계이다.

 

2.4. Bundle Adjustment

 

 

모든 이미지의 포즈와 3D 포인트를 global하게 재조정하여 최적화하는 과정이다. 목표는 각 3D 포인트를 projection한 위치와 실제 이미지 상의 2D 위치 간의 차이인 Reprojection Error를 최소화하는 것이다.

 

이 최적화는 다수의 카메라와 포인트 간의 복잡한 관계를 포함하며, 일반적으로 비선형 최적화(non-linear optimization)인 Gauss-Newton 또는 Levenberg-Marquardt 알고리즘을 사용하여 해결한다.

 

"Bundle"이라는 용어는 각 3D 포인트에서 여러 카메라를 향해 뻗는 광선(rays)들을 묶어 표현한 데서 유래한다. 이 과정은 전체 reconstruction의 정밀도를 향상시키는 핵심 단계이며, 보통 전체 SfM 파이프라인에서 가장 계산 비용이 크다.

 

 

3. Dense Reconstruction

 

위의 SfM 단계에서는 주로 특징점 기반의 sparse point cloud를 생성하게 된다. 하지만 실제로 활용 가능한 3D 모델을 얻기 위해서는 더 정밀하고 조밀한 구조가 필요하다. 이를 위한 단계가 Dense Reconstruction이다.

3.1. Depth Map Estimation

등록된 각 이미지에 대해 해당 뷰에서의 depth map (깊이 정보)을 추정한다. 이는 stereo matching 또는 multi-view stereo(MVS) 기법을 통해 수행된다. 각 픽셀에 대해 가장 적절한 depth 값을 예측하여, 각 이미지에서 볼 수 있는 3차원 포인트를 촘촘히 추정하는 것이다.

3.2. Depth Fusion

여러 이미지에서 추정된 depth map은 서로 중복되는 영역을 포함하고 있다. 이들 간의 정합을 수행해 일관된 하나의 3D 포인트 클라우드를 생성하는 단계이다. 불확실성이나 노이즈를 줄이기 위해 다양한 filtering이나 confidence-based weighting이 활용되기도 한다.

3.3. Surface Reconstruction

최종적으로 생성된 dense point cloud를 기반으로, mesh 형태의 표면(surface)을 복원한다. 대표적인 방법으로는 Poisson Surface Reconstruction이나 Marching Cubes 등이 있으며, 이를 통해 실제 모델링 및 시각화에 적합한 3D 메쉬 구조를 얻을 수 있다.

Dense Reconstruction은 일반 SfM의 출력에 비해 훨씬 더 세밀한 구조를 제공하기 때문에, 고정밀 3D 모델이 필요한 분야(AR/VR, 로보틱스, 디지털 트윈 등)에서 필수적인 과정이다.