[CV] 카메라 캘리브레이션 & 카메라 파라미터 | 2D 이미지와 3D 월드 간의 관계를 모델링하는 방법

카메라 캘리브레이션 (Camera Calibration)

 

카메라 캘리브레이션(camera calibration)은 카메라의 물리적 특성을 이해하고, 이를 통해 3D 공간에서의 물체의 위치나 형태를 정확하게 추정하기 위한 과정이에요. 이 과정은 카메라가 찍은 2D 이미지와 실제 3D 월드 간의 관계를 정확하게 모델링하고, 이미지에서 왜곡된 부분을 보정하는 데 중요한 역할을 합니다.

 

카메라 캘리브리에션 후 수행할 수 있는 작업 예시

 

카메라 캘리브레이션의 주요 과정은 내부 파라미터와 외부 파라미터를 추정하는 것인데, 이러한 파라미터를 사용하면 렌즈 왜곡을 수정하고 카메라 위치를 추정할 수 있어요.

 

---

 

1. 카메라 내부 파라미터 (Intrinsic camera parameters)

1.1. 초점 거리(focal length)

• 카메라 렌즈의 초점 거리로, 이미지 센서(CCD, CMOS 등)와 렌즈 사이의 거리
• 카메라 모델에서 초점거리(f)는 픽셀 단위로 표현(영상에서의 기하학적 해석을 용이하게 하기 위함)
• 주로 fx, fy로 표현
• fx,fy가 따로 있는 이유는 이미지 센서의 물리적인 셀 간격이 가로 방향과 세로 방향이 서로 다를 수 있기 때문

 

1.2. 주점(principal point)

• 이미지 센서의 중심점으로, 보통 이미지의 중심과 일치함
• 카메라 렌즈의 중심에서 이미지 센서에 내린 수선의 발의 영상 좌표
• 영상 중심점과는 다른 의미 (카메라 조립과정에서 렌즈와 이미지 센서가 수평이 어긋날 수 있기 때문)
• 주로 cx, cy로 표현

 

1.3. 왜곡 계수(distortion coefficients)

• 렌즈 왜곡으로 인한 이미지 왜곡을 나타내는 파라미터
• 일반적으로 방사 왜곡(radial distortion)과 접선 왜곡(tangential distortion)으로 나눌 수 있음
• 요즘 카메라들은 이러한 skew 에러가 거의 없기 때문에 카메라 모델에서 보통 비대칭 계수까지 고려하지는 않음
• skew_c = tana

 

2. 카메라 외부 파라미터 (Extrinsic camera parameters)

외부 파라미터는 카메라의 위치와 방향을 3D 공간에서 정의하며, 주로 회전 행렬과 이동 벡터로 구성돼요. 이 파라미터들은 월드 좌표계에서 카메라 좌표계로의 변환을 표현할 수 있죠. 또한 카메라 외부 파라미터는 카메라의 위치와 방향(6-DoF)에 따라 달라지고 월드 좌표계를 어떻게 정의했는지에 따라서도 달라질 수 있어요.

 

Rotation & Translation

 

2.1. 회전 행렬(Rotation matrix)

• 회전 행렬은 카메라의 회전 상태를 나타내며, 월드 좌표계에서 카메라 좌표계로 3D 공간을 회전시키는 역할
• 3x3 크기의 행렬로 표현되며, 이를 통해 카메라가 월드 좌표계에서 어떻게 회전되어 있는지를 알 수 있음

 

 2.2. 이동 벡터(Translation vector)

• 이동 벡터는 카메라의 위치를 나타내며, 월드 좌표계에서 카메라 좌표계로의 평행 이동을 설명
• 3D 공간에서 카메라의 원점을 특정 위치로 이동시키는 역할

 

2.3. 외부 파라미터의 활용

2.3.1. 월드 좌표계에서 카메라 좌표계로의 변환

 

• 월드 좌표계에서 주어진 3D 점 Pw​를 카메라 좌표계로 변환하려면, 외부 파라미터를 사용하여 위와 같이 계산할 수 있음
• Pc는 카메라 좌표계에서의 포인트 위치임

 

 

2.3.2. 카메라 좌표계에서 이미지 평면으로의 투영

• 변환된 점 Pc를 이미지 평면으로 투영하려면, 내부 파라미터를 적용
• 이 과정은 카메라 모델의 핵심이며, 외부 파라미터가 이 과정의 첫 번째 단계에서 중요한 역할을 수행

 

3. 카메라 파라미터를 추정하는 방법

3.1. 대응점 추출

카메라 파라미터를 추정하기 위해서는, 3D 공간의 점들과 이 점들이 2D 이미지에서 어떻게 보이는지를 나타내는 대응점이 필요해요. 이러한 대응점을 얻기 위해 다음과 같은 방법들이 사용될 수 있어요.

• 캘리브레이션 패턴 활용: 체커보드나 원형 그리드와 같은 캘리브레이션 패턴을 사용하여, 그 패턴의 3D 좌표와 2D 이미지에서의 좌표 간의 대응을 추출
• 특징점 매칭: 이미지에서 추출한 특징점들(예: 코너, 에지 등)을 3D 모델이나 다른 이미지의 특징점들과 매칭하여 대응점을 추출
• 자연 환경 활용
  • 캘리브레이션 패턴 없이, 주변 환경의 3D 구조와 이미지에서의 위치를 기반으로 대응점을 추출할 수도 있음
  • 이 경우, 사전에 환경의 3D 모델이 필요하거나 SLAM (Simultaneous Localization and Mapping)과 같은 기법이 필요

 

3.2. 파라미터 추정

대응점들을 얻은 후, 카메라의 내부 및 외부 파라미터를 추정하기 위해 비선형 최적화 방법이 사용되는데요. 이 과정은 다음과 같아요.

• 핀홀 카메라 모델 적용: 대응점들을 통해 카메라의 기본 투영 모델(핀홀 모델)을 적용하여 3D 좌표가 2D 이미지로 어떻게 투영되는지를 수학적으로 모델링
• 최적화 알고리즘 사용
  • 파라미터 추정은 보통 Levenberg-Marquardt 같은 비선형 최적화 알고리즘을 사용하여 수행됨
  • 이 알고리즘은 모델이 예측한 2D 위치와 실제 2D 이미지에서 측정된 위치 간의 오차를 최소화하는 방향으로 파라미터를 조정

 

3.3. 왜곡 보정

카메라 렌즈의 왜곡으로 인해 이미지가 왜곡될 수 있는데요. 추정된 왜곡 계수를 사용하여 이미지를 보정하여 실제 3D 구조와 일치하는 조금 더 정확한 2D 이미지를 얻을 수 있어요.

 

 

[카메라 파라미터 활용 예시]

 

카메라 파라미터들을 추정하기 위해서는 3D 월드 좌표와 그에 대응하는 2D 영상 좌표가 있어야 한다고 말씀드렸죠? 체커보드와 같이 캘리브레이션 패턴을 나타내는 여러 영상을 사용하여 이러한 대응점을 얻을 수 있고, 대응점을 사용하여 카메라 파라미터를 구할 수 있어요. 카메라 영상은 3D 공간상의 점들을 2D 이미지 평면에 프로젝션하여 얻어지고, 핀홀 카메라 모델에서 이러한 변환 관계는 아래와 같이 모델링돼요

• X, Y, Z  : 월드 좌표계 상의 3D 점
• [R|t] : 월드 좌표계를 카메라 좌표계로 변환시키기 위한 회전/이동 변환 행렬 - Extrinsic camera parameters
• A : 카메라 내부 파라미터 행렬 - Intrinsic camera parameters

* A와 [R|t]를 합쳐 camera matrix 또는 projection matrix 라 부름

 

3. 카메라 캘리브레이션 예제 코드

import numpy as np
import cv2 as cv
import glob

# 종료 조건 설정: epsilon 또는 최대 반복 횟수(30)에 도달하면 알고리즘을 종료
criteria = (cv.TERM_CRITERIA_EPS + cv.TERM_CRITERIA_MAX_ITER, 30, 0.001)

# 체커보드의 3D 공간 상의 좌표 준비
# 예: (0,0,0), (1,0,0), (2,0,0), ..., (6,5,0)
objp = np.zeros((6*7, 3), np.float32)
objp[:, :2] = np.mgrid[0:7, 0:6].T.reshape(-1, 2)

# 모든 이미지에서 객체 좌표와 이미지 좌표를 저장할 배열
objpoints = []  # 실제 3D 공간에서의 점들
imgpoints = []  # 이미지 평면에서의 2D 점들

# 현재 디렉토리에 있는 모든 jpg 이미지를 가져옴
images = glob.glob('*.jpg')

# 각 이미지를 순회하면서 처리
for fname in images:
    # 이미지를 읽고 그레이스케일로 변환
    img = cv.imread(fname)
    gray = cv.cvtColor(img, cv.COLOR_BGR2GRAY)

    # 체커보드 코너를 찾음
    ret, corners = cv.findChessboardCorners(gray, (7, 6), None)

    # 코너를 찾았다면, 객체 좌표와 이미지 좌표를 추가
    if ret == True:
        objpoints.append(objp)  # 객체 좌표 추가
        # 코너 위치를 더 정밀하게 조정
        corners2 = cv.cornerSubPix(gray, corners, (11,11), (-1,-1), criteria)
        imgpoints.append(corners2)  # 이미지 좌표 추가

        # 체커보드 코너를 이미지에 그려서 표시
        cv.drawChessboardCorners(img, (7, 6), corners2, ret)
        cv.imshow('img', img)  # 이미지를 창에 표시
        cv.waitKey(1000)  # 1초 동안 대기

cv.destroyAllWindows()  # 모든 창 닫기

# 카메라 캘리브레이션 수행
ret, mtx, dist, rvecs, tvecs = cv.calibrateCamera(objpoints, imgpoints, gray.shape[::-1], None, None)

# 결과 출력
print(ret, mtx, dist, rvecs, tvecs, sep='\n')

 

• criteria 설정
  • criteria는 코너 감지 알고리즘에서 사용할 종료 조건
  • 여기서는 최대 30번 반복하거나 정확도가 0.001 이하로 낮아지면 종료
• 체커보드의 3D 좌표 생성
  • objp는 체커보드의 각 교차점의 3D 좌표를 나타냄
  • Z값은 모두 0으로 설정되어 있으며, 7x6 체커보드의 평면 좌표를 정의
• 이미지에서 체커보드 코너 감지
  • cv.findChessboardCorners를 사용하여 각 이미지에서 체커보드 코너를 검출
  • 코너가 발견되면 해당 코너의 위치를 정밀하게 조정하여 corners2에 저장
• 코너를 찾은 경우 처리
  • objpoints 리스트에는 3D 객체 점(실제 좌표)을 추가하고
  • imgpoints 리스트에는 해당 점에 대응하는 이미지 평면의 2D 좌표를 추가
• 코너를 이미지에 표시
  • cv.drawChessboardCorners를 사용하여 감지된 코너를 이미지 위에 그림
• 카메라 캘리브레이션 수행
  • cv.calibrateCamera 함수는 모은 3D 객체 좌표와 2D 이미지 좌표를 사용하여 카메라의 내부 파라미터와 왜곡 계수(dist), 각 이미지에 대한 회전 벡터(rvecs)와 변환 벡터(tvecs)를 계산
• 결과 출력
  • 마지막으로, 추정된 파라미터들이 출력됨
  • ret은 최적화 결과의 재투영 오류를 나타내며, mtx는 카메라 매트릭스, dist는 왜곡 계수, rvecs는 회전 벡터, tvecs는 변환 벡터를 표현

 

 

cv.calibrationCamera() 결과

 

---

 

카메라 캘리브레이션과 파라미터 추정은 컴퓨터 비전에서 필수적인 과정으로, 정확한 3D 정보를 얻고 왜곡을 보정하는 데 중요한 역할을 해요. 이번 포스팅에서 소개한 내용을 바탕으로, 여러분도 자신의 카메라를 정확히 설정하여 다양한 비전 애플리케이션에 활용해 보시길 바랍니다. 이해가 어렵다면 실습을 통해 직접 경험해보는 것도 좋은 방법이에요! 저도 그랬으니까요 😢