[논문 리뷰] NeRF 간단 설명 & 원리 이해하기 | 새로운 방향에서 바라본 view를 생성하는 기술

- paper : NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis / ECCV2020 

 

NeRF 논문이 공개된지도 시간이 꽤 흘렀는데, 2020 ECCV에서 공개됐을 때만 해도 굉장히 신기하고 획기적인 view synthesis 방법으로 관심을 받았지만, 여러 단점 때문에 실제 서비스에 적용되기는 쉽지 않았다.

 

하지만, 2023 CVPR에서는 2022년에 비해 radiance라는 단어의 사용이 80% 증가하고, NeRF의 경우 39% 증가했을 만큼 NeRF는 활발히 연구되고 있다. 특히 이젠 개념 증명을 넘어 veiw editing 이나 각종 application 연구가 진행되고 있다. 즉 NeRF가 이제 각종 서비스에 활용될만한 수준으로 발전하고 있다는 뜻이다. 

 

덕분에 나도 실무 면접 볼때 잠깐 공부했던 NeRF를 다시 찾아보고 있기에 내용을 정리해 두고자 한다. 

---

NeRF (Neural Radiance Fields)

 

우리가 게임처럼 어떤 객체나 사람을 이리 저리 360도 돌려가며 다양한 뷰에서 관측하기 위해서는 2D 이미지가 아닌 3D 렌더링이 필요하다. 이러한 3D 렌더링 기술에는 보통 컬러가 입혀진 mesh 또는 point cloud 또는 voxel로 이루어진 3D 모델이 사용되는데, SFM(Structure From Motion) 기술을 활용해 실제 세계의 객체를 3D reconstruction(3차원 복원)하여 3D 모델을 만들 수 있다.

 

NeRF도 비슷한 기술같지만, NeRF는 객체의 3D 모델을 생성하는 기술이 아니라, 객체를 바라보는 모든 장면을 생성하는 Novel View Synthesis 기술이다. 즉, 특정 객체나 장면을 여러 뷰에서 촬영한 결과로 실제로 촬영하지 않은 각도에서의 view를 만들어내어 마치 3D 렌더링된 것처럼 볼 수 있는 기술이라는 뜻이다. 또한 NeRF는 새로운 뷰로 관측할 때 마다 MLP 네트워크를 인퍼런스하여 결과를 생성하는 방식이기 때문에, 3D 형상 정보를 미리 저장했다가 보여주는 방식과는 다르다.

 

그래서 NeRF가 다른 3D 렌더링 방식들에 비해 가지는 장점이 뭘까?

우선 NeRF는 연속적인 공간에 대한 표현을 사용하기 때문에 view 이동이 자연스럽다. 또한 3D 모델(mesh, voxel 등) 정보를 가지고 광선과 물체의 관계를 계산하여 렌더링하는 기존 방식에 비해 저장 공간에 대한 부담이 적다. (물론 NeRF 또한 view 이동에 따른 장면을 표현하기 위해 지속적으로 MLP 인퍼런스를 시켜야 한다)

 

특히 NeRF는 컬러값 뿐만 아니라 volume density 까지 추정하기 때문에 더욱 리얼한 결과를 뽑아내 준다. 

 

현재는 NeRF 결과를 3D mesh 형태로 변환하거나 editing 하는 등 여러 응용이 가능해졌다. 또한 NeRF 결과를 기반으로 NeRF의 장점을 유지하면서도 3D mesh 모델을 생성하는 시도가 이루어졌다.

 

 

NeRF의 전체적인 흐름

NeRF의 전체적인 흐름은 여러 각도에서 촬영한 이미지들과 카메라 파라미터를 NeRF 모델에 입력하면 새로운 view들을 렌더링 해주는 아주 간단해 보이는 과정이다. 실험에서는 실제 객체를 촬영한 것은 아니고 블렌더에서 3D 모델을 캡처하여 만든 데이터를 활용했다.

 

• 입력 데이터
  • 다양한 각도에서 객체를 촬영한 이미지 (RGB + Mask의 4채널)
  • 카메라 파라미터 (카메라 위치 + 각도)
• 출력 데이터 : 입력 이미지에 없던 새로운 view 

 

NeRF 아키텍처

NeRF 입출력

NeRF의 아키텍처는 사실 크게 설명할 것이 없을 정도로 간단한 MLP 모델이다. 입력으로는 물체의 3D 위치와 물체가 바라보는 방향이 사용되고, MLP 결과로는 해당 좌표에서의 RGB 컬러값과 투명도의 역수라고 볼 수 있는 Density가 출력된다.

 

이러한 방식이 특정 각도에서 바라보는 특정 위치의 컬러값과 투명도를 예측해 주는 것이다.

 

• 입력
  • Spatial location : 3D 공간 위치 정보 (x,y,z)
  • Viewing diection : 물체가 바라보는 방향 (𝛳,𝜙)
• 출력
  • RGB : 물체의 컬러값
  • Density(𝜎) : 투명도의 역수인 밀도 값

 

NeRF 아키텍처 (MLP)

아키텍처를 보면 사실 더 별거 없다. MLP 입력단에서 x(위치 정보(x,y,z))가 입력되고 5번 째 layer에서 한 번더 concat해서 입력된다. skip connection의 일종이라 볼 수 있다. 그리고 9번 째 layer에서 density(𝜎)가 출력되고, 여기에 다시 d(방향 정보(𝛳,𝜙))가 입력되어 최종적으로 RGB 값이 출력된다.

 

이러한 방식을 사용하는 이유는 density의 경우 물체가 그 위치에 존재하는지에 대한 값이므로 물체를 바라보는 각도와 전혀 관계가 없으니 위치 정보만으로 예측하고, RGB 값의 경우 물체를 바라보는 각도에 따라 달라질 수 있기 때문에 마지막 layer에서 방향 정보를 추가하여 RGB를 예측하는 것이다.

 

간단하지만 굉장히 리즈너블한 모델 구조인 듯 하다!

 

그런데 3차원인 위치정보(x,y,z)가 60차원, 2차원인 방향 정보(𝛳,𝜙)가 24차원으로 명시되어 있다. 이유가 뭘까? 이는 positional embedding과 관련 있으니 조금 뒤에서 살펴보도록 하자.

 

*NeRF 학습 방법

NeRF 또한 supervised learning 방식이기에 학습에 GT(정답 정보)가 필요하다. 입력 이미지가 이미 여러 view에서의 객체이기 때문에 이미 가지고 있는 view를 예측하도록 인퍼런스하고 예측값과 실제 값을 loss 계산하여 학습을 진행한다.

 

 

볼륨 렌더링

자 이제 이렇게 학습한 MLP로 무엇을 하려는 것인지 알아보자.

 

새롭게 생성하고픈 view의 가상의 카메라 중심으로부터 객체 향해 ray를 쏴서 이러한 ray위에 여러 포인트들을 샘플링하고((a)에서 ray위의 검은색 점들), MLP를 통해 해당 좌표의 RGB와 density 값을 예측한다. 이 때 객체가 없는 위치는 density가 낮게 나올 것이고 객체가 존재하는 위치의 density는 높게 나올 것이다. 이 ray위의 샘플링된 모든 포인트들의 RGB, density 값을 다시 바라보는 시점으로 projection 시키고 특정 연산을 통해 적절한 최종 컬러값을 계산한다. (ray가 첫 번째로 만나는 객체에 더 많은 가중치가 있도록 연산)

 

최종 컬러값을 결정하는 수식

*최종 컬러값 계산 수식 간단 설명

샘플링 포인트에서의 density와 color를 곱한 값을 ray를 쏜 가까운 지점부터 먼 지점까지 적분을 하는데, 이 때 Accumulated transmittance(T(t))값 또한 곱해져있는 것을 볼 수 있다. 이는 ray가 해당 포인트에 도달할 확률이기 때문에 ray가 첫 번째로 만나는 객체의 color에 더 많은 가중치를 가지고 최종 color 값이 결정된다는 것을 알 수 있다~!

 

*이해를 돕기위한 영상을 첨부

 

NeRF 최적화

앞서 설명한 방법만으로는 NeRF의 성능이 우수하지 않기에 논문에서는 두 가지 추가적인 방법을 활용해서 NeRF의 성능을 최적화한다.

 

1. Positional Encoding

Positional Encoding 수식

Positional Encoding은 high-frequency 정보를 잘 보존하기 위해 사용되는 방법으로 MLP 입력인 위치 정보와 방향 정보에 적용된다. 3차원인 위치 정보와 2차원인 방향 정보가 너무 저차원이기에 positional Encoding으로 고차원으로 임베딩시켜 MLP의 입력 데이터를 고차원화 시켜주는 것이다. (저차원 입력을 사용하면 결과가 low-frequency에 치중됨)

 

음... 결국 이게 무슨 의미나면, 어떤 객체의 세밀한 부분을 잘 표현하려면 바로 옆 픽셀과의 차이도 명확하게 잘 표현되야 하는데, 그냥 (x,y,z) 입력을 사용하게 되면 x 방향으로 +0.1 이동한다고 하면 입력 데이터의 차이가 너무 적기에 이러한 차이를 MLP가 명확하게 인지할 수 없다는 것이다. (5,5,5)를 입력했을때랑 (5.1,5,5)를 입력했을 때 MLP 입장에서는 그래서 뭐? 두 개 차이 별로 없는디? 라고 한다는 것. 하지만 positional encoding을 사용하면 위치의 작은 차이도 더 고차원으로 표현할 수 있기에 MLP가 위치의 세밀한 차이를 잘 학습할 수 있다는 것이고 그렇기에 high-frequency를 잘 유지하게 된다는 것이다.

 

방향 정보, Positional Encoding 효과를 확인 할 수 있는 결과

위 실험 결과를 보면 MLP에 방향 정보를 주입하지 않는 경우 방향에 따른 컬러 차이를 예측할 수 없기 때문에 반사가 일어나느 부분이 표현되지 않고, positional encoding을 사용하지 않는 경우엔 high-frequency 정보가 많이 소실되어 세밀한 부분이 잘 표현되지 않는다는 것을 볼 수 있다.

 

2. Hierarchical Sampling

ray 위에서 포인트를 어떻게 샘플링하는지도 성능에 영향을 끼치는데, 단순히 일정 간격으로 샘플링하는 경우에는 동일한 위치의 샘플 포인트만 학습하기 때문에 좋은 성능을 기대하기 어렵다. 때문에 일종의 랜덤 샘플링인 strtified sampling을 사용하여 각 bin 마다 일정 간격으로 샘플링을 하지만, bin 내에서는 랜덤하게 샘플 포인트를 생성한다. 

 

또한 기본적인 과정인 coarse 샘플링 이후 fine 샘플링 과정에서 density가 높은 곳에서는 샘플링을 더 많이 수행하여 추가 학습을 진행한다.

 

---

NeRF 결과는 이미지보다는 영상이나 데모로 확인하는 것이 더 좋기에 최근 NVIDIA에서 공개한 Instant NeRF로 제작된 영상을 소개하며 설명을 마치고자 한다.

 

 

 

---

NeRF의 기본 개념과 원리에 대해 알아 보았는데, 초기 NeRF는 객체별 학습을 해야 하는 부담과 view별 인퍼런스 시간 등 여러가지 제약이 많았다. 아직까지도 해결되지 않은 부분들은 많지만 점점 개선되어 가고 있는 추세이기에, 조만간 여러 서비스에서 NeRF를 만나볼 수 있지 않을까 생각해 본다.