[논문 리뷰] MVSNet: Depth Inference for Unstructured Multi-view Stereo / 딥러닝을 이용한 Multi-view Stereo Reconstruction 방법

임의의 N개의 view를 입력으로 사용하는 Multi-view Stereo Reconstuction task에서 전통적인 방법이 아닌, CNN 아키텍처를 사용하는 학습 기반의 방법을 제안하는 첫 연구이기에 소개하려 합니다. 지금은 본 논문에선 제안하는 MVSNet 보다 성능이 좋은 네트워크가 많지만, 본 논문에서 제안하는 아이디어를 사용하는 연구가 많습니다. 

(22년 초 기준 SoTA는 Transformer 기반의 TransMVSNet입니다.)

 

Abstract

본 논문에서는 multi-view(다시점) 이미지에서 depth map inference를 위한 end-to-end 딥러닝 아키텍처를 소개합니다. 네트워크에서 다시점 이미지들의 feature를 추출한 후 미분가능한 homography warping을 통해 reference 카메라 frustum에 3D cost volume을 구축합니다. 다음으로 3D conv 를 사용하여 초기 depth map을 regularize하고 regress한 다음 reference 이미지로 refine하여 최종 출력을 생성합니다. 본 네트워크는 여러 feature들을 하나의 cost feature로 매핑하는 variance 기반 metric을 사용하여 임의의 N-view (N개의 view 개수) 입력을 유연하게 처리합니다. 제안된 MVSNet은 DTU dataset에서 시연되고 간단한 후처리를 통해 이전 SOTA를 훨씬 능가하고 런타임은 몇배 더 빠릅니다.

 

Introduction

Multi-view Stereo (MVS)는 수십 년 동안 연구된 컴퓨터 비전의 핵심 문제인 중첩 이미지들에서 dense representation을 추정합니다. 전통적인 방법은 dense correspondence을 계산하기 위해 handcrafted similarity matrice와 엔지니어링된 regularizations을 사용합니다. 이러한 방법들은 Lambertian 시나이로에서 좋은 결과를 보여주지만 low-textured, specular, reflective 한 영역은 dense matching이 쉽지 않아서 불완전한 reconstruction 결과로 이어집니다. 

 

최근(2018년 기준..) CNN 연구의 성공으로 stereo reconstruction을 개선하기 위한 관심이 많습니다. 개념적으로 learning 기반 방법은 보다 좋은 성능의 매칭을 위해 specualr 및 reflective 같은 global 한 semantic 정보를 도입할 수 있습니다. Hand-crafted similarity matrices 또는 egineered regularization 을 학습가능한 네트워크로 대체하여 two-view sterero matching에 대한 몇 가지 시도가 있었습니다. 그들은 stereo 벤치마크에서 전통적인 방법을 능가하는 유망한 결과를 보여주었습니다. 실제로 stereo matching 작업은 이미지 쌍을 미리 보정하여 카메라 파라미터에 신경쓰지 않고 수평 픽셀 단위 disparity 추정이 가능하기 때문에 CNN 기반 방법을 적용하는 것이 완벽히 적합합니다.

 

그러나 학습된 two-view stereo를 multi-view 시나리오로 확장하는 것은 간단하지 않습니다. Stereo matching 과는 달리 MVS에 대한 입력 이미지는 임의의 카메라 geometry 일 수 있고, 이는 training-based 방법을 사용하기가 까다롭습니다.  이 문제를 직접 해결하려는 시도는 거의 없습니다. SurfaceNet은 모든 이미지 픽셀 색상과 카메라 정보를 네트워크의 입력으로 single volume에 결합하는 Colored Voxel Cubes (CVC)를 미리 구성합니다. 대조적으로, Learned Stereo Machine (LSM)은 end-to-end 학습/추론을 가능하도록 미분가능한 projection/unprojection을 직접 활용합니다. 하지만, 두 가지 방법 모두 regular grid의 volumetric representation을 활용합니다. 때문에 3D volume의 막대한 메모리 소비로 인해 네트워크 확장이 거의 불가능합니다. LSM은 low volume resolution의 synthetic 객체만 처리하고 SurfaceNet은 large-scale reconstruction에 오랜 시간이 걸립니다. 현재(2018) 현대 MVS 벤치마크의 선두는 여전히 전통적인 방법으로 점유되고 있습니다. 

 

본 논문에서는 위에서 언급한 문제를 해결하기 위해 3D scene 이 아닌 한 번에 하나의 depth map을 계산하는 depth map inference를 위한 end-to-end 딥러닝 아키텍처를 제안합니다. 다른 depth map 기반 MVS 방법들과 유사하게 제안하는 네트워크인 MVSNet 은 하나의 reference 이미지와 여러 source 이미지를 입력으로 받아 reference 이미지에 대한 depth map을 추정합니다. 여기서 핵심은 네트워크의 카메라 geometry를 implicit하게 인코딩하여 2D image feature에서 3D cost volume 을 구축하고 end-to-end 학습을 가능하게 하는 미분 가능한 homograpy warping 작업입니다. 입력에서 임의의 view 수의 source 이미지들을 적용하기 위해 여러 view 별 feature를 하나의 cost volume으로 매핑하는 distribution 기반 metric을 제안합니다. 이 cost volume은 multi-scale 3D convolution을 거치고 initial depth map을 regress합니다. 마지막으로 boundary 영역의 정확도를 향상시키기 위해 reference 이미지로 depth map을 개선합니다. 

 

본 논문에서 제안하는 방법은 이전의 접근 방식과 두 가지 차이점이 있습니다.

1) Depth map inference를 위해 3D cost volume은 Euclidean space 대신 camera frustum에 구축됩니다.

2) MVS reconstruction을 view 당 depth map 추정을 통해 large-scale reconstruction을 가능하게 합니다.

 

Related work

- MVS Reconstruction

Ouput representation에 따라 MVS method는 direct point cloud reconstruction, volumetric reconstuction, depth map reconstruction으로 분류됩니다. Point cloud 기반 방법은 일반적으로 reconstruction을 점진적으로 조밀화하기 위해 propagation 전략에 의존하는 3D point에서 직접 수행됩니다. 이러한 방식은 point cloud의 전파가 순차적으로 진행되기 때문에 완전히 병렬화되기 어렵고 일반적으로 시간이 많이 걸립니다. Volumetric 기반 방법은 3D 공간을 일반 grid로 나눈 다음 각 voxel이 표면에 붙어있는지 추정합니다. 이 표현의 단점은 space discretization error와 높은 메모리 소비입니다. 대조적으로 detph map은 모든 방법 중에서 가장 유연한 표현으로 복잡한 MVS 문제를 한 번에 하나의 reference 이미지와 소수의 source 이미지에만 초점을 맞추는 depth map 추정의 비교적 작은 문제로 분리합니다. 또한 depth map은 point cloud 또는 volumetric reconstruction에 쉽게 융합될 수 있습니다. 

 

- Learned Stereo

스테레오에 대한 최근 연구에서는 기존의 handcrafted 이미지 feature와 matching metric을 사용하는 대신 더 나은 pair-wise matching을 위해 딥러닝 기술을 적용합니다. 두 개의 이미지를 매칭시키는 딥러닝 네트워크, 3D cost volume을 3D CNN으로 정규화하는 end-to-end 알고리즘들이 소개되어왔고, 이미 기존 스테레오 접근 방식을 훨씬 능가합니다.

 

- Learned MVS

학습된 MVS 접근 방식에 대한 시도는 더 적습니다. MVS reconstruction을 위한 전통적인 cost metric을 대체하기 위한 multi-patch similarity이 제안되었습니다. MVS 문제에 대한 첫 번째 학습 기반 파이프라인은 정교한 voxel별 view 선택으로 cost volume을 정규화하고 추론하는 SurfaceNet입니다. 본 논문과 가장 관련있는 접근 방식은 LSM으로 카메라 파라미터가 네트워크에서 cost volume을 형성하기 위한 projection 작업으로 인코딩되고 3D CNN이 voxel이 표면에 속하는지 분류하는 데 사용됩니다. 하지만 volumetric 표현의 일반적인 단점으로 인해 SurfaceNet 및 LSM의 네트워크는 small-scale reconstruction으로 제한됩니다. 대조적으로 본 논문에서 제안하는 MVSNet은 매번 하나의 reference 이미지에 대한 depth map을 생성하는 데 중점을 두므로 large-scale scene을 직접적으로 reconstruct 할 수 있습니다.

 

 

반응형

 

MVSNet

1. Image Features

MVSNet의 첫 번째 단계는 Dense matching을 위해 N개의 입력 이미지에서 N개의 deep feature를 추출하는 것입니다. 8-layer 2D CNN이 적용되었으며 일반적인 matching 작업과 동일하게 weight 를 sharing 합니다. 2D CNN의 출력은 입력 이미지 대비 4배 만큼 축소된 32채널의 feature입니다. 

 

2. Cost Volume

다음 단계는 추출된 feature map과 입력 카메라에서 3D cost volume을 구축하는 것입니다. 이전 연구에서는 regular grid를 사용하여 공간을 분할했지만 본 논문의 depth map 추정 작업에서는 reference 카메라 frustum에 cost volume을 구성합니다. I1은 reference 이미지, Ii는 source 이미지, {Ki, Ri, ti}는 각각 feature map에 해당하는 카메로 intrinsics, rotations, translations에 해당합니다.

 

Differentiable Homography

모든 feature map은 N개의 feature volume을 형성하기 위해 reference 카메라의 서로 다른 정면 평행 평면으로 warping됩니다. Warped feature map 에서 depth d에서 Fi 로의 coordinate mapping 은 planar transformation x'~Hi(d)*x에 의해 결정됩니다. Hi(d)는 i번째 feature map 과 depth d에서의 reference feature map 사이의 Homography 입니다.

2D feature 추출과 3D regularization 네트워크를 연결하는 핵심 단계로 warping 작업이 미분 가능하도록 구현되어 depth map 추정의 end-to-end 학습이 가능하게 합니다.

 

 

Cost Metric

N개의 feature volume을 하나의 cost volume C로 만들기 위해 N-view similarity 측정을 위한 variacne-based cost metric M을 제안합니다. W(이미지 너비), H(이미지 높이), D(Depth sample number), F(Channel number of the feature map), V= W/4*H/4*D*F 일 때, cost metric 은 다음과 같이 정의합니다. Vi 는 모든 feature volume의 average volume 이고 모든 operation 은 element-wise 입니다.

대부분의 전통적인 MVS 방법은 reference 이미지와 모든 source 이미지 간의 pairwise cost를 heuristic한 방식으로 집계합니다. 본 논문의 metric 설계는 모든 view 가 matching cost에 동등하게 기여해야 하고 reference 이미지에 우선순위를 두지 않는다는 전제를 따릅니다(최근 연구에 따라). 최근 연구가 multi-patch similarity를 추론하기 위해 다중 CNN layer로 average 연산을 적용합니다. 여기서 'average' 연산 자체가 feature 차이에 대한 정보를 제공하지 않고, 네트워크가 similarity를 추론하는 데 도움이 되는 pre- 및 post- CNN 계층을 필요로 하기 때문에 'variance' 연산을 사용합니다. 본 논문의 variance-based cost metric은 multi-view feature 차이를 명시적으로 측정합니다. 실험에서 이러한 명시적 차이 측정이 검증 정확도를 향상시킨다는 것을 보여줍니다.

 

 

Cost Volume Regularization

이미지 feature 에서 계산된 raw cost volume은 노이즈(Non-lambertian 표면 또는 object occlusion에 의한)로 오염될 수 있기 때문에 depth map을 추론하기 위해 smoothness constraint와 통합되어야 합니다. 본 논문의 regularization 단계는 depth 추론을 위한 probability volume P 를 생성하기 위해 위의 cost volume C 를 refine 하기 위해 설계되었습니다. 최근 연구에서 영감을 받아 cost volume regularization에 multi-scale 3D CNN을 적용합니다. 여기서 4-scale 네트워크는 encoder-decoder 구조를 사용하여 비교적 낮은 메모리 및 계산량으로 큰 receptive field 에서 neighboring information을 집계하는 3D version UNet과 유사합니다. 마지막에 probability normalization을 위해 depth 축으로 softmax 연산을 적용합니다.

 

결과 probability volume은 픽셀당 depth 추정뿐만 아니라 추정 신뢰도 측정에도 사용할 수 있다는 점에서 depth map 추론에 적절합니다. 이 후 내용에서 probability distribution을 분석하여 depth reconstruction 품질을 쉽게 결정할 수 있고 간결하지만 효과적인 outlier filtering 으로 이어집니다.

 

3. Depth Map

Initial Estimation

Probability volume P에서 depth map D를 만드는 가장 간단한 방법은 픽셀 단위 argmax 입니다. 하지만, argmax 연산은 하위 픽셀 추정을 할 수 없으며 미분할 수 없기 때문에 backpropagation으로 학습할 수 없습니다. 대신, depth 축을 따라 expectation, 즉 모든 hypotheses에 대한 probability weighted sum을 계산합니다.

여기서 P(d)는 깊이 d에 대한 모든 픽셀에 대한 확률 추정으로 위 식은 soft argmin에 해당합니다. 이는 미분가능하고 argmax 결과를 근사할 수 있습니다. Depth hypotheses 는 cost volume 구성 중 범위 [dmin, dmax] 내에서 균일하게 샘플링되지만 여기서 expectation 값은 continuous 한 depth 추정을 할 수 있습니다.

* Fig.2 (c)의 가로축이 depth hypotheses index, y축은 probability, 빨간선은 soft argmin 결과입니다. 

 

Probability Map

Multi-scale 3D CNN은 probabiltiy를 single-modal로 정규화하는 강력한 기능을 가졌지만, 잘못 일치하는 픽셀의 경우 확률 분포가 흩어져 있고 하나의 peak에 집중할 수 없습니다(위 그림의 (c)). 이러한 관점에 기초하여 depth 추정의 품질 d_hat 을 ground truth depth가 추정치 근처의 작은 범위 내에 있을 확률로 정의합니다. Depth hypotheses는 카메라 frustum을 따라 이산적으로 샘플링되므로 추정 품질을 측정하기 위해 가장 가까운 4개의 depth hypotheses에 대한 probability sum을 취합니다. 이러한 probability sum 방법은 outlier filtering을 더욱 잘 수행합니다.

 

Depth Map Refinement

Probability volume에서 retrieve 된 depth map은 정규화된 출력이지만, 큰 receptive field로 인해 reconstruction 경계가 과도하게 oversmoothing 될 수 있습니다. Reference 이미지에는 boundary 정보가 포함되어 있으므로 reference 이미지를 depth map을 개선하기 위한 가이드로 사용합니다. 최근의 image matting 알고리즘에서 영감을 받아 MVSNet의 끝에 depth residual learning network를 적용합니다. Initial depth map과 크기가 조정된 reference 이미지는 4-channel 입력으로 concat 되고 32-channel 2D convolutional layer와 1-channel convolutional layer 하나를 거쳐 depth residual을 학습합니다. 그런 다음 initial depth map을 다시 추가하여 refine된 depth map을 생성합니다. 또한, 특정 depth scale 에서 편향되는 것을 방지하기 위해 초기 depth 크기를 [0,1] 범위로 사전 스케일링하고 refine 후에 다시 변환합니다.

 

 

4. Loss

Initial depth map과 refine 된 depth map 모두에 대한 loss가 사용됩니다. 

 

Depth Map Fusion

다른 multi-view stereo 방법과 유사하게 depth map fusion 단계를 적용하여 서로 다른 view의 depth map을 통합하여 통합된 point cloud를 생성합니다. Visibility-based 알고리즘은 다양한 viewpoint에서 depth occlusion 및 violation을 최소화합니다. Reconstruction 노이즈를 최소화하기 위해 필터링 단계에서와 같이 각 픽셀에 대한 visible view를 결정하고 픽셀의 최종 깊이 추정으로 모든 reprojected depths에 대한 평균을 취합니다. 그런 다음 fusion된 depth map을 space에 직접 reprojection하여 3D point cloud를 생성합니다.

 

 

Experiments