[OpenCV] Template Matching 템플릿 매칭 | 이미지에서 유사한 부분 찾아내기

Template Matching

 

이미지 템플릿 매칭은 대상 이미지에서 작은 이미지(템플릿)를 찾는 기술로, 컴퓨터 비전 분야에서 많이 사용되는 기술 중 하나이다. OpenCV에서는 cv2.matchTemplate() 함수를 사용하여 이미지 템플릿 매칭을 수행할 수 있는데, 이 함수는 입력 이미지와 템플릿 이미지를 입력으로 받아서, 입력 이미지에서 템플릿과 가장 유사한 부분을 찾아 반환한다.

 

딥러닝을 사용한 방법처럼 객체의 deformation이 있는 경우에도 잘 매칭되는 알고리즘은 아니지만 템플릿 이미지와 아주 유사한 부분이 입력 이미지에 있는 경우에는 사용하기 좋은 알고리즘이다.

 

가장 큰 단점은 opencv의 템플릿 매칭은 템플릿 이미지로 대상 이미지를 슬라이딩 하는데, 이때 슬라이딩 윈도우 사이즈를 따로 지정할 수 없고 입력 이미지와 템플릿 이미지의 크기에 따라 자동으로 결정된다는 것이다. 때문에 템플릿 이미지와 입력 이미지의 비율을 알아서 잘... 조절해야 원하는 결과를 얻을 수 있다.

 

 

OpenCV 템플릿 매칭

• cv2.matchTemplate() 함수는 다음과 같은 파라미터를 입력으로 받는다.
• image: 대상 이미지
• template: 찾고자 하는 작은 이미지(템플릿)
• method: 매칭 방법
  • cv2.TM_CCOEFF: 상관관계 계수를 이용한 매칭
  • cv2.TM_CCOEFF_NORMED: 정규화된 상관관계 계수를 이용한 매칭
  • cv2.TM_CCORR: 픽셀 합을 이용한 매칭
  • cv2.TM_CCORR_NORMED: 정규화된 픽셀 합을 이용한 매칭
  • cv2.TM_SQDIFF: 제곱 차이 합을 이용한 매칭
  • cv2.TM_SQDIFF_NORMED: 정규화된 제곱 차이 합을 이용한 매칭

cv2.matchTemplate() 함수는 매칭 결과를 히트맵으로 반환한다. 히트맵은 대상 이미지의 각 픽셀마다 템플릿과의 매칭 정도를 나타내는 값을 가지는 이미지로 이 히트맵에서 가장 값이 큰 위치를 찾으면 대상 이미지에서 템플릿과 가장 일치하는 위치를 찾을 수 있다. 또한, OpenCV에서는 cv2.minMaxLoc() 함수를 사용하여 히트맵에서 최댓값, 최솟값의 위치를 쉽게 찾을 수 있다.

 

 

템플릿 매칭 예시

• 오사카에 여행 가서 촬영한 도톤보리 사진에서 글리코상의 얼굴만 크롭해서 템플릿 이미지로 사용하고, 구글에서 찾은 도톤보리 사진에서 글리코상 얼굴을 찾는 예시
• 슬라이딩 윈도우 사이즈가 입력 이미지와 템플릿 이미지의 사이즈에 의해 자동으로 결정되기 때문에 여러번의 시도 끝에 가장 적절한 비율을 찾은 결과이다 (슬라이딩 윈도우 사이즈 조절을 위해 입력 이미지 별로 템플릿 이미지를 리사이징)

 

import cv2

image_list = [cv2.imread('글리코상1.jpg'), cv2.imread('글리코상2.webp'), cv2.imread('글리코상3.jpg')]
template = cv2.imread('글리코상머리.png')
template_list = [cv2.resize(template, (40, 40)), cv2.resize(template, (20,20)), cv2.resize(template, (80,80))]

cv2.imshow('template', template)

for i in range(len(image_list)):
    img_draw = image_list[i].copy()
    template_image = template_list[i]
    th, tw = template_image.shape[:2]

    # 템플릿 매칭 
    res = cv2.matchTemplate(image_list[i], template_image, cv2.TM_CCOEFF_NORMED)

    # 히트맵에서의 최솟값, 최댓값 구하기
    min_val, max_val, min_loc, max_loc = cv2.minMaxLoc(res)

    top_left = max_loc
    match_val = max_val

    # 매칭된 영역 표시 
    bottom_right = (top_left[0] + tw, top_left[1] + th)
    cv2.rectangle(img_draw, top_left, bottom_right, (0,0,255),2)
    cv2.putText(img_draw, str(match_val), top_left, cv2.FONT_HERSHEY_PLAIN, 2,(0,255,0), 1, cv2.LINE_AA)
    cv2.imshow('output', img_draw)
    cv2.waitKey(0)
    cv2.destroyAllWindows()

 

결과 이미지

• 템플릿 이미지 : 글리코상 얼굴
• 입력 이미지 : 구글에서 검색한 도톤보리 

템플릿 이미지

 

# 슬라이딩 윈도우 사이즈가 최적화 된 경우 (템플릿 이미지 리사이징 O)

템플릿 매칭 결과

 

 

# 슬라이딩 윈도우 사이즈가 최적화 되지 않은 경우 (템플릿 이미지 리사이징 X)

 

최적화된 슬라이딩 윈도우 사이즈에서 템플릿 매칭 스코어 높기 때문에 다양한 크기의 슬라이딩 윈도우를 순회하면서 가장 높은 스코어를 찾는다면 적절한 윈도우 사이즈를 찾아 최적의 템플릿 매칭을 수행할 수도 있지 않을까?