[논문 리뷰] 3D Gaussian Splatting 완전 정복

📌 3D Gaussian Splatting (3DGS) 이란?

3D Gaussian Splatting for Real-Time Radiance Field Rendering / SIGGRAPH 2023

3D Gaussian Splatting(3DGS)은 복잡한 3D 장면을 수천에서 수백만 개의 3차원 가우시안(스플랫) 으로 표현하는 방식이다. 각 가우시안은 다음과 같은 정보를 갖는다.

• 3D 위치 (x, y, z)
• 크기 (scale 또는 covariance)
• 회전 (orientation)
• 색상 (RGB)
• 불투명도 (alpha)
• 뷰 방향 의존적인 특성 값

이러한 점들을 화면 상에 투영하고, GPU에서 가우시안 형태로 부드럽게 퍼지게 만들어 실시간으로 이미지를 렌더링하는 것이 핵심이다.

 

마치 수많은 반투명한 비누방울이 공중에 흩어져 있는데, 이들이 서로 겹치며 하나의 풍경을 구성하는 것이다. 빛이 닿으면 각 방울은 색을 띠고, 가까운 방울이 뒤에 있는 것을 가리며, 안개처럼 부드럽고 자연스러운 3D 장면이 만들어진다.

 

📌 3DGS, 주목받는 이유?

 

✅ 실시간 렌더링 가능

3DGS는 GPU 기반의 래스터화 방식을 사용하기 때문에 NeRF보다 훨씬 빠르게 이미지를 렌더링할 수 있다. 보통 4K 해상도에서도 60FPS 이상을 유지할 수 있어, VR/AR, 게임 엔진 등 실시간 시스템에 바로 적용 가능하다.

 

✅ 학습 속도가 빠르다

NeRF는 수 시간에서 하루 이상 학습 시간이 필요했지만, 3DGS는 몇 분 단위로 학습이 끝난다. 보통 RTX 3090 또는 4090 GPU 기준으로 15~30분 내외면 고품질 장면을 재현할 수 있다.

 

✅ 디테일이 우수하다

점의 크기와 형태를 자유롭게 조절할 수 있어, 빛반사나 미세한 표면 질감 등도 섬세하게 표현된다. 이를 통해 기존 NeRF에서 발생하던 aliasing, blur 문제를 줄일 수 있다.

 

✅ 편집과 합성에 유리하다

NeRF처럼 복잡한 MLP를 파인튜닝하지 않아도, 각 점의 속성을 직접 조작함으로써 색상 변경, 삭제, 이동 등 세부적인 편집이 즉시 가능하다. 세멘틱 레이블링도 점 단위로 부여할 수 있어 후처리에 유리하다.

 

✅ 활용도가 높다

Meta, Niantic, Google 등 다양한 기업들이 공간 스캔, 디지털 트윈, AR 콘텐츠 제작 등에 도입 중이다. 특히 휴대폰만으로 고품질 3D 장면을 만들 수 있다는 점에서 상용화 가능성이 매우 높다.

 

 

📌 기본 원리

 

3D Gaussian Splatting은 렌더링 가능한 3D 장면을 수많은 가우시안들의 시각적 기여로 합성하는 방식이다. 이 과정은 크게 4단계로 나뉜다.

 

1. 표현 (Representation)

각 가우시안 점은 다음과 같은 파라미터를 갖는다.

• 3차원 위치
• 크기(covariance): 점의 퍼짐 정도와 방향성을 나타냄
• 회전 행렬 : 이방성 가우시안의 방향 조절
• 색상(RGB), 불투명도(alpha)
• 뷰 방향에 따라 달라지는 MLP 기반의 appearance feature (색상 보정)

즉, 각 점은 단순한 위치 정보가 아니라 공간 내에서 '빛을 흩뿌리는 입자'로서의 역할을 수행한다.

 

2. 가시성 정렬 (Visibility Sorting)

렌더링할 때, 모든 점을 카메라 기준으로 z-축에 따라 정렬한다. 앞쪽에서 뒤쪽 순서로 over blending을 수행하며 누적하게 된다. 이는 GPU에서 효율적으로 구현 가능하다.

 

3. 래스터화와 블렌딩 (Rasterization & Blending)

각 가우시안은 3D 공간상의 점이지만, 뷰포트 상에서는 2D 에피폴라 가우시안 형태로 퍼지게 투영된다. 이 점들을 래스터라이저가 받아 픽셀 단위로 알파 블렌딩하여 색상과 깊이를 결정한다. 이는 GPU에서 매우 빠르게 병렬 처리 가능하다.

 

4. 손실 함수 기반 최적화 (Loss & Optimization)

학습 과정에서는 참조 이미지와의 차이를 계산하여 다음 항목들을 기준으로 손실을 계산한다.

• L2 photometric loss (렌더링 이미지 vs 참조 이미지)
• 크기, 밀도, 깊이 일관성에 대한 정규화 항목
• α 값이 너무 작거나, 중복된 점들을 제거하는 프루닝 규칙

이러한 손실을 기반으로 각 점의 위치, 크기, 회전 등을 직접 미분 가능한 방식으로 최적화하게 된다.

 

📌 학습 방법

3D Gaussian Splatting의 학습은 사실적인 3D 장면을 재현할 수 있도록 가우시안들의 파라미터를 최적화하는 과정이다. 다음은 전체적인 학습 파이프라인이다.

✅ 학습 단계

0. 입력 데이터

• 다중 시점 RGB 이미지: 하나의 장면을 다양한 각도에서 촬영한 이미지 (보통 수십~수백 장)
• 카메라 내/외부 파라미터: COLMAP 등 SfM 툴을 통해 추출된 camera intrinsics & extrinsics
• (선택) 초기 sparse point cloud: Structure-from-Motion으로 얻어진 초기 포인트 클라우드

1. Camera Pose Estimation(COLMAP)

SfM 사용 유무에 의한 결과 차이

 

입력 이미지들로부터 COLMAP의 sparse reconstruction pipeline을 사용하여 카메라의 내부 파라미터(K) 와 외부 파라미터(R, t) 를 추출한다. 이 과정에서 sparse point cloud도 함께 생성된다.

 

2. Gaussian Initialization

COLMAP 등의 SfM으로 얻은 sparse point cloud의 각 점마다 초기 가우시안을 할당한다. 이때 위치는 고정, 나머지 값은 초기화됨.

 

3. Parameter Optimization

Iteration 차이에 따른 결과 차이

 

입력 이미지들은 곧 ground truth 이미지(목표) 이며, 우리는 각 카메라에 대응되는 정확한 투영 행렬을 알고 있다.

따라서 렌더링된 이미지와 정답 이미지 간의 차이를 기반으로, 다음 파라미터들을 반복적으로 최적화한다.

• 위치 , 회전 , 크기(covariance)
• 색상(RGB), 투명도(α)
• (옵션) 뷰 방향 의존 보정을 위한 appearance MLP weight

손실 함수는 photometric L2 loss (렌더링 이미지 vs GT 이미지) 와, 깊이 정합성, 크기 제약, 밀도 제약 등 regularization 항목을 포함한다. 최적화는 Adam optimizer를 주로 사용한다.

 

 

매 학습 스텝마다 다음을 수행

1. 현재의 3D Gaussians를 카메라 행렬로 투영하여 2D 화면에 splat
2. 각 점은 에피폴라 가우시안 형태로 퍼지며, 픽셀에 알파 블렌딩 방식으로 기여
3. GPU에서 렌더링된 이미지 생성
4. GT 이미지와 픽셀 단위로 RGB 차이 계산
5. L2 손실 + regularization 항목들을 더해 총 손실 계산
6. 모든 Gaussian의 파라미터를 gradient descent로 업데이트

알파 블렌딩(alpha compositing) 이란, 하나의 픽셀에 여러 개의 반투명한 색이 겹칠 때, 가까운 점의 색을 더 진하게, 먼 점의 색을 더 흐리게 보여주는 방식이다. 예를 들어, 카메라 시점에서 여러 개의 가우시안 점이 하나의 픽셀에 기여한다면, 각 점의 깊이(z 값) 과 투명도(α 값) 에 따라 기여도가 달라진다. 이때 가까운 점부터 순서대로 앞에서 뒤로 색을 누적하며 합성한다. 포토샵의 여러 레이어를 쌓듯이, 앞에 있는 점이 더 강한 색을 남기고, 뒤에 있는 점은 앞의 색에 살짝 스며든다.

 

4. Pruning and Densification

3DGS의 학습은 기본적으로 각 점(Gaussian)의 위치, 크기, 색상 등 파라미터를 gradient descent 방식으로 최적화하는 과정이다.
하지만 최적화만으로는 렌더링 품질 향상에 한계가 있기 때문에, 다음과 같은 점 집합 구조 자체를 조정하는 보조 과정을 수행한다.

• Pruning: 의미 없는 점 제거
  • 학습 과정 중 일부 가우시안은 렌더링 결과에 거의 기여하지 않게 되며, 투명도 α 값이 0에 가까워진다.
  • 이러한 점들은 장면 표현에 필요 없으므로 주기적으로 제거(prune) 하여 메모리와 연산 비용을 줄인다.
• Densification: 디테일 보강을 위한 점 분할
  • 기존 점들만으로는 복잡한 경계, 질감, 얇은 구조물 등을 충분히 표현하지 못하는 경우가 있다.
  • 이럴 땐 렌더링 오차가 큰 영역을 감지하고, 해당 영역의 가우시안을 분할하거나 새로운 점을 추가(densify) 하여 디테일을 보강한다.

 

5.  종료 조건

일정 iteration 수 (예: 30,000) 혹은 validation loss 수렴 시 학습 종료한다.

 

📌 인퍼런스

학습된 3D Gaussian Splatting 결과는 수많은 3D Gaussian들이고, 결과물은 .ply 또는 .gs 파일로 저장되며, 이를 통해 실시간 렌더링이 가능한 인터랙티브 뷰어를 구성할 수 있다. 사용자가 뷰를 회전하거나 확대할 때, GPU에서 즉시 장면을 다시 렌더링하여 즉각적인 반응성을 제공한다.

 

✅ 인퍼런스 파이프라인

1. 학습된 가우시안 데이터 로드

• Gaussian들의 파라미터(x, Σ, R, RGB, α 등)를 GPU 메모리로 로드
• 일반적으로 수십만~수백만 개의 점으로 구성됨

2. 카메라 매트릭스 반영

• 사용자의 뷰포트 입력을 바탕으로 카메라의 내외부 파라미터(K, R, t)를 계산
• 모든 가우시안들을 카메라 좌표계로 변환한 뒤 투영

3. Z-정렬 (Depth sorting)

• 카메라에서 가까운 점부터 그리기 위해 각 점을 카메라 기준 z-값으로 정렬
• 알파 블렌딩 기반의 누적 블렌딩에 필요

4. 스플래팅 (Splatting)

• 학습된 각 가우시안 점은 화면에 2차원 타원 형태의 분포(Anisotropic Gaussian Ellipse) 로 투영됨
  • 각 3D Gaussian은 위치뿐 아니라 방향성과 크기(공분산 행렬 Σ) 를 지닌 타원체로 구성되어 있다.
  • 이 3D 타원체를 카메라로 바라보면, 시점에 따라 길쭉하거나 눌린 형태의 2D 타원으로 보이게 된다.
• 이렇게 투영된 2D 타원은 마치 가우시안 분포처럼 흐릿하게 퍼져 있는 색의 번짐 영역으로 간주되며, 각 픽셀에 영향을 준다.
  • GPU에서는 이 점들을 Compute Shader 또는 Hybrid Rasterizer로 처리하여,
  • 각 타원이 해당 픽셀에 얼마나 기여할지를 계산하고, Z 정렬된 순서대로 알파 블렌딩(alpha compositing) 하여 누적 렌더링을 수행한다.

5. 프레임 출력

• 모든 픽셀의 색상/깊이 정보를 결합하여 최종 이미지 생성
• 60FPS 이상으로 실시간 출력 가능

가우시안 마다 'raw color'가 존재하지만, 시점에 따라 조금씩 색을 보정하기 위해 작은 MLP가 쓰인다. 때문에 가우시안의 feature vector와 카메라-가우시안 viewing direction을 입력받아 색상 보정을 출력하는 과정도 포함된다.

 

✅ 웹뷰 인터랙션 흐름

• WebGL/WebGPU 기반 뷰어 실행
  → three.js, TensorFlow.js, custom GLSL/WebGPU shader 등 사용
• .ply 또는 .gs 파일 로딩 및 GPU 업로드
  → JavaScript 또는 WASM 기반 파서로 점 데이터 처리 후 GPU에 바인딩
• 사용자 입력에 따른 카메라 뷰 변경
  → 마우스, 터치 이벤트로 회전/줌 등 조작 → 카메라 행렬 업데이트
• 프레임마다 실시간 리렌더링
  → 새 뷰 기준으로 Gaussian들을 다시 투영, 빠르게 래스터화
• 성능
  → 일반 환경(1080p, RTX GPU 등)에서도 100만 개 이상의 점을 30~90FPS로 렌더링 가능
• 선택 및 편집 기능 연동
  → 클릭 시 특정 Gaussian의 RGB, 세멘틱 정보 접근 가능
  → 툴 연계를 통해 브러시로 점을 이동/삭제/재색상화 등 편집 가능

✅ 3DGS는 학습도 빠르지만, 렌더링 또한 실시간이기 때문에 모바일이나 웹 기반 XR 환경에서의 활용도가 매우 높다.

 

📌 NeRF와 무엇이 다른가?

항목	NeRF	3D Gaussian Splatting
표현 방식	좌표 → MLP (암시적)	가우시안 점 구름 (명시적)
렌더링	레이 마칭·적분	GPU 래스터·알파 블렌딩
훈련 시간	수 시간~수 일	수 분
추론 속도	수 ms ~ 수백 ms	수 μs → 60 FPS+
메모리	수~수십 MB	수백 MB ~ 수 GB (점 개수)
편집 난이도	MLP 재학습 필요	점 속성 직접 수정
아티팩트	노이즈, blur	메모리 폭, occlusion bleed
장점 요약	압축·저메모리	실시간·편집성

💡 NeRF ↔ 3DGS 구도는 속도·편집성 대 메모리·압축성 트레이드오프라고 이해하면 쉽다.

 

---

3D Gaussian Splatting은 NeRF의 한계를 극복하며 실시간 3D 렌더링의 새로운 가능성을 열어준 혁신적인 기법이다. 단순히 빠를 뿐 아니라, 고품질과 편집 가능성까지 갖춘 점에서 실용성과 확장성이 매우 높다. 2023년 첫 등장 이후, 3DGS는 4D dynamic scene rendering, Gaussian point compression and Level-of-Detail (LOD) optimization, Semantic-aware editing 등 다양한 방향으로 빠르게 발전해오고 있다.