[OpenCV] Perspective Transformation (원근 변환) | 왜곡된 영상을 펴주는 방법

Geometric Transformation

Geometric Transformation 예시

영상은 기하학적 변환을 통해 다양한 형태로 변환될 수 있는데 자유도에 따라 translation, eclidean,similarity, affine, perspective(projective) 변환으로 나뉜다. 이 중에서 perspective transformation의 자유도가 가장 크다. 다시 말해 가장 많은 변형을 줄 수 있는 변환이라는 뜻이다. 다양한 컴퓨터 비전 프로젝트에서 카메라의 각도에 따라 왜곡되는 객체나 텍스트 들을 정면으로 바라보는 view로 변환하기 위해 affine 또는 perspective transformation이 사용된다.

 

 

Perspective Transformation

Perspective Transformation 예시

 

그 중에서 가장 큰 자유도를 가지는 perspective transformation의 사용법에 대해 알아보려 한다. 우리가 가장 흔하게 접할 수 있는 perspective transformation의 예시는 문서를 촬영하면 문서의 모서리를 찾아서 정면으로 보는 view로 변환해 주는 기술이다. 스마트폰 스캔 어플 등에서 흔히 볼 수 있다.

 

OpenCV의 Perspective Transformation은 이미지에서 선택한 관심 영역을 원근 변환(perspective transform)하여 다른 관점에서 보는 것처럼 변경하는 기술로 카메라의 왜곡 보정, 이미지를 보정하거나 측정할 때 사용된다.

 

사용 방법은 이미지에서 관심 영역을 선택하고 그 영역의 모서리를 새로운 위치로 이동시켜 변형하면 해당 영역의 이미지가 원근적으로 변환된다. 이 변환을 위해 3x3 행렬인 Homography matrix를 사용한다.

 

OpenCV에서는 cv2.getPerspectiveTransform() 함수를 사용하여 원근 변환 행렬을 계산하고, cv2.warpPerspective() 함수를 사용하여 변환된 이미지를 생성하는데, 이 함수들은 다음과 같은 매개변수를 가진다.

 

• cv2.getPerspectiveTransform(src, dst): 원근 변환 행렬을 계산. src는 입력 이미지에서 관심 영역의 모서리 4개의 좌표이고, dst는 출력 이미지에서 해당 모서리의 좌표.
• cv2.warpPerspective(src, M, dsize): 원근 변환된 이미지를 생성. src는 입력 이미지이고, M은 원근 변환 행렬입니다. dsize는 출력 이미지 크기.

 

코드 예시

• 마우스 콜백을 사용하여 입력 이미지에서 변환 행렬 계산에 사용하고 싶은 모서리 4곳을 클릭
• 클릭한 모서리 4곳으로 변환 행렬을 계산하고 변환 행렬로 perspective transformation 된 이미지 출력

import cv2
import numpy as np

win_name = "scanning"
img = cv2.imread("menu1.jpg")
rows, cols = img.shape[:2]
draw = img.copy()
pts_cnt = 0
pts = np.zeros((4, 2), dtype=np.float32)

def onMouse(event, x, y, flags, param):
    global pts_cnt
    if event == cv2.EVENT_LBUTTONDOWN:
        # 좌표에 초록색 동그라미 표시
        cv2.circle(draw, (x, y), 10, (0, 255, 0), -1)
        cv2.imshow(win_name, draw)

        # 마우스 좌표 저장
        pts[pts_cnt] = [int(x), int(y)]
        pts_cnt += 1
        if pts_cnt == 4:
            # 좌표 4개 중 상하좌우 찾기
            sm = pts.sum(axis=1)  # 4쌍의 좌표 각각 x+y 계산
            diff = np.diff(pts, axis=1)  # 4쌍의 좌표 각각 x-y 계산

            topLeft = pts[np.argmin(sm)]  # x+y가 가장 값이 좌상단 좌표
            bottomRight = pts[np.argmax(sm)]  # x+y가 가장 큰 값이 우하단 좌표
            topRight = pts[np.argmin(diff)]  # x-y가 가장 작은 것이 우상단 좌표
            bottomLeft = pts[np.argmax(diff)]  # x-y가 가장 큰 값이 좌하단 좌표

            # 변환 전 4개 좌표 
            pts1 = np.float32([topLeft, topRight, bottomRight, bottomLeft])

            # 변환 후 영상에 사용할 서류의 폭과 높이 계산
            w1 = abs(bottomRight[0] - bottomLeft[0])
            w2 = abs(topRight[0] - topLeft[0])
            h1 = abs(topRight[1] - bottomRight[1])
            h2 = abs(topLeft[1] - bottomLeft[1])
            width = int(max([w1, w2]))  # 두 좌우 거리간의 최대값이 서류의 폭
            height = int(max([h1, h2]))  # 두 상하 거리간의 최대값이 서류의 높이

            # 변환 후 4개 좌표
            pts2 = np.float32([[0, 0], [width - 1, 0],
                               [width - 1, height - 1], [0, height - 1]])

            # 변환 행렬 계산 
            mtrx = cv2.getPerspectiveTransform(pts1, pts2)
            # 원근 변환 적용
            result = cv2.warpPerspective(img, mtrx, (width, height))
            cv2.imshow('scanned', result)

cv2.imshow(win_name, img)
cv2.setMouseCallback(win_name, onMouse)
cv2.waitKey(0)
cv2.destroyAllWindows()

 

좌 : 입력 이미지, 우 : 변환 결과