[CV] 3D Geometry 설명

*자료 출처 : 다크프로그래머

https://darkpgmr.tistory.com/category/%EC%98%81%EC%83%81%EC%B2%98%EB%A6%AC

 

Coordinate System (좌표계)

영상 geometry 에서는 월드(3D), 카메라(3D), 정규(2D), 픽셀(2D) 4개의 좌표계가 존재합니다. 

 

- 월드 좌표계

객체의 위치를 표현할 때 기준으로 삼는 좌표계로 카메라 좌표계와 단위를 맞춰야 하고 위(P)와 같이 표현할 수 있습니다.

 

- 카메라 좌표계

카메라를 기준으로 한 좌표계이며, 아래첨자 c 를 사용하여 위와 같이 표현합니다.

 

- 픽셀 좌표계

영상 좌표계라고도 불리며 이미지의 왼쪽 위를 원점으로 오른쪽 방향을 x 증가 방향, 아래 방향을 y 증가 방향으로 합니다. 픽셀 좌표계의 x축, y축에 의해 결정되는 평면을 이미지 평면이라 부릅니다.
기하학적으로 볼 때, 3D 공간상의 점 P = (X,Y,Z)는 카메라의 초점을 지나서 이미지 평면의 한 점 pimg = (x, y)에 projection됩니다.

픽셀 좌표계의 단위는 픽셀이며, 위와 같이 표현할 수 있습니다.

 

- 정규 좌표계

정규 좌표계는 편의상 도입된 가상의 좌표계로 카메라 내부 파라미터 영향을 제거한 좌표계의 단위를 정규화한 좌표계입니다. 즉, 카메라 초점과의 거리가 1인 가상의 이미지 평면을 정의하는 좌표계입니다.

 

정규 좌표

픽셀 좌표 와 정규 좌표와의 관계

픽셀 좌표 와 정규 좌표와의 관계

정규 좌표계는 픽셀 좌표계와 구분하기 위해 u,v를 사용하고, 카메라 내부 파라미터(K)를 알면 위와 같이 픽셀 좌표와 정규 좌표와의 변환이 가능합니다.

 

Homogenuous Coordinates

Homogenuous 좌표는 (x,y) 좌표를 (x,y,1)로 표현하는 것입니다. 일반적으로 표현하면 0이 아닌 상수 w에 대해 (xw, yw, w)로 표현하는 것입니다. 즉, homogenuous 좌표계에서 스케일은 무시되어 (x,y)에 대한 homogenuous 좌표 표현은 무한하게 존재합니다. 3D의 경우 (X,Y,Z) -> (X,Y,Z,1) or (wX, wY, wZ, w)

 

이러한 Homogenuous 좌표 표현을 사용하는 이유는 affine, projective 변환을 하나의 단일 행렬로 표현할 수 있기 때문입니다. 

 

카메라 영상은 3D 공간에 있는 점들을 이미지 평면에 projection 시킨 것으로 카메라 초점과 projection 된 점을 연결하면 하나의 긴 projection ray가 나옵니다. 이 선 위에 있는 모든 점들은 모두 동일한 이미지 평면의 한 점으로 projection 됩니다. 따라서 이미지 평면의 한 점(좌표)에 대한 homogenuous 좌표 표현은 이 점으로 projection 될 수 있는 ray 상의 모든 점들을 한 번에 표현하는 방법이라고 볼 수 있습니다.

 

정규 이미지 평면 상의 한 점 p' = (u, v)에 대한 한 homogeneous 좌표 표현은 (u, v, 1)인데, 점 p'을 카메라 좌표계로 봤을 때의 3D 좌표도 (u, v, 1)임을 알 수 있습니다. (정규 좌표계이니까 카메라 초점과의 거리가 1)

 

카메라 좌표계 입장에서 보면 투영선 상에 있는 점들의 3D 좌표는 일반적으로 w(u, v, 1) = (wu, wv, w)가 되고 이는 (u, v)의 일반적인 homogeneous 좌표 표현에 해당합니다. 이러한 관점에서 homogeneous 좌표 (x, y, z)에서 (x/z, y/z)를 구하는 것은 projection, (u, v)를 homogeneous 좌표 (wu, wv, w)로 표현하는 것은 inverse projection 과정으로 볼 수 있습니다.

 

Homogeneous 좌표 표현의 다른 한 장점은 무한대의 점을 유한 좌표로 표현할 수 있다는 것인데, (u, v) 방향으로 무한대의 점은 homogeneous 좌표로 (u, v, 0)으로 표현됩니다. 

 

2D Transformation

 

- Translation (평행이동)

- Rotation (1 DoF)

- Rigid (Euclidean) : Translation + Rotation (3 DoF)

- Similarity transformation : Rigid + scale 변화 (4 DoF / Homogeneous 좌표 표현을 사용하면 하나의 행렬 변환으로 표현가능)

- Affine transformation : 직선, 길이(거리)의 비, 평행성이 보존 (6 DoF)

- Homography (Projective Transformation) (8 DoF)

어떤 planar surface가 서로 다른 카메라 위치에 대해 이미지 A와 이미지 B로 투영되었다면 이미지 A와 이미지 B의 관계를 homography로 표현할 수 있습니다. 때문에 homography를 planar homography라고도 부르며, homography는 평면물체의 2D 이미지 변환관계를 설명할 수 있는 가장 일반적인 모델입니다.

 

 

3D Transformation

 

 

회전변환 R, 평행이동 t = [tx, ty, tz]T를 이용한 일반적인 3D 변환식(rigid 변환)은 다음과 같습니다.

Homogeneous 좌표를 사용하면 아래와 같이 회전 변환과 평행이동을 하나의 변환행렬로 표현할 수 있습니다.

 

좌표축 변환

월드 좌표계와 카메라 좌표계 사이의 변환이 좌표축 변환으로 월드좌표계 상에서 카메라 좌표계의 원점을 (Fx, Fy, Fz), 월드좌표계의 좌표축을 카메라 좌표계 좌표축으로 회전시키는 행렬을 R이라 하겠습니다.

 

이 때, 월드 좌표계의 점 (X, Y, Z)을 카메라 좌표계로 봤을 때의 좌표 (Xc, Yc, Zc)는 다음과 같이 구해집니다. 회전변환 행렬의 경우 RTR = I 즉, R-1 = RT가 성립하므로 두 가지 식이 다 가능합니다. 카메라 좌표계 상의 점을 월드 좌표계로 바꿀 때에도 위 식을 역으로 이용하면 됩니다.

 

 

 

Image Projection

이제 지금까지의 내용을 종합하여 3D 월드좌표에서 2D 픽셀좌표로의 변환 관계, 즉 이미지가 형성되는 과정을 정리

 

Perspective Projection Transformation

 

3D 에서 2D 로의 projection transformation 행렬입니다. 위 그림처럼 영 기준점을 원점으로 잡은 경우 3차원 상의 점 P를 p'으로 투영시키는 변환 행렬은 다음과 같이 주어집니다.

즉, 투영평면이 Zc = d일 경우 (Xc, Yc, Zc, 1)는 (Xc, Yc, Zc/d) = (d*Xc/Zc, d*Yc/Zc, 1)로 투영됩니다 (s는 homogeneous 좌표표현의 scale factor로서 점 P의 depth에 해당).

 

Image Projection Model

 

월드 좌표계 상의 한 점 (X, Y, Z)를 이미지 평면(픽셀 좌표계) 상의 점 (x, y)로 변환시키는 행렬을 H라 하면, 그 관계식은 다음과 같습니다. (월드 -> 카메라)

이 때, H는 3 × 4 행렬로서 다음과 같이 분해하여 표현할 수 있습니다.

[R|t]는 월드 좌표계를 카메라 좌표계로 바꾸는 rigid 변환 행렬, Tpers(1)는 카메라 좌표계 상의 3D 좌표를 정규 이지미평면(normalized image plane)에 투영시키는 프로젝션(projection) 행렬, K는 카메라 내부(intrinsic) 파라미터 행렬로 정규 이미지 좌표를 픽셀 좌표로 바꾸어 줍니다. Tpers(1)은 d = 1 즉, Zc = 1인 평면으로의 투영변환을 말합니다 (즉, normalized image plane으로의 투영). s는homogeneous좌표표현의scale factor로서 점(X, Y, Z)의depth에 해당

 

투영변환 Tpers(1)과 rigid 변환 [R|t]를 하나로 합치면 다음과 같이 좀더 간단한 표현식이 됩니다.

 

 

Epipolar Geometry

Epipolar geometry는 스테레오 비전(stereo vision) 즉, 2-view 비전에서의 기하학으로 동일한 사물 또는 장면에 대한 영상을 서로 다른 두 지점에서 획득했을 때, 영상 A와 영상 B의 매칭쌍들 사이의 기하학적 관계

3D 공간상의 한 점 P가 영상 A에서는 p에 투영되고, 영상 B에서는 p'에 투영될 때, 두 카메라 원점을 잇는 선과 이미지 평면이 만나는 점 e, e'을 epipole, 투영점과 epipole을 잇는 직선 l, l'을 epiline (epipolar line)이라 부릅니다. Epiline은 3차원의 점 P와 두 카메라 원점을 잇는 평면(epipolar plane)과 이미지 평면과의 교선으로도 볼 수 있습니다.

 

두 카메라 위치 사이의 기하학적 관계 [R|t]를 알고 영상 A에서의 영상좌표 p를 알고 있을 때, 점 P까지의 거리(depth) 정보를 모른다면 영상좌표 p로부터 투영되기 전의 3차원 좌표 P를 복원할 수는 없습니다. 따라서 점 P가 영상 B에 투영된 좌표 p' 를 유일하게 결정할 수 없습니다. 하지만 점 P는 A 카메라의 원점과 p를 잇는 직선(ray) 상에 존재하기 때문에 이 직선을 영상 B에 투영시키면 점 p'이 이 투영된 직선 위에 있음은 알 수 있습니다. 이 투영된 직선이 바로 epiline l' 입니다.

 

정리하면, A의 영상좌표 p로부터 대응되는 B의 영상좌표 p'을 유일하게 결정할 수는 없지만 p'이 지나는 직선인 epiline l'은 유일하게 결정할수 있습니다. (즉, A영상의 p 점 -> B 영상의 epiline 결정). 그리고 한 영상좌표로부터 다른 영상에서의 대응되는 epiline을 계산해주는 변환행렬이 Fundamental Matrix, Essential Matrix 입니다. 즉, 서로 다른 두 시점에서 찍은 영상좌표들 사이에는 Fundamental Matrix, Essential Matrix를 매개로 하는 변환 관계가 성립합니다.

 

Essential Matrix

두 영상 좌표 p와 p' 사이에는 다음 관계를 만족하는 행렬이 항상 존재한다는 것이 epipolar geometry의 핵심

Fundamental Matrix

앞서 설명한 Essential Matrix는 정규화된 이미지 평면에서의 매칭 쌍들 사이의 기하학적 관계를 설명하는 행렬입니다. 즉, 카메라 내부 파라미터 행렬인 K가 제거된 좌표계에서의 변환관계입니다.

반면 fundamental matrix는 카메라 파라미터까지 포함한 두 이미지의 실제 픽셀(pixel) 좌표 사이의 기하학적 관계를 표현하는 행렬입니다.

 

임의의 두 이미지 A, B에 대하여, 매칭되는 픽셀 좌표 pimg, pimg' 사이에는 항상 다음과 같은 관계를 만족하는 행렬 F가 존재하고, 이러한 행렬 F를 fundamental matrix라 부릅니다.

이 때, 이미지 A에 대한 카메라 내부 파라미터 행렬을 K, 이미지 B에 대한 카메라 행렬을 K', 이미지 A, B 사이의 essential matrix를 E라 하면 fundamental matrix F는 다음과 같이 주어집니다.

만일 이미지 A, B를 동일한 카메라로 촬영했다면 카메라 행렬(K)이 동일하기 때문에 다음과 같이 좀더 단순화됩니다

 

Triangulation

마지막으로 triangulation (삼각측량법)은 두 이미지 평면 사이의 기하학적 관계가 주어지고 (즉, E 또는 F가 주어지고), 두 이미지 평면상의 매칭쌍 p, p'이 주어지면 이로부터 원래의 3D 공간좌표 P를 결정할 수 있다는 것을 말합니다. 바로 스테레오 비전에서 거리(depth)를 구할 때 하는 일입니다.