[OpenCV] Feature Detection & Matching | 특징 검출과 매칭 | 이미지에서 유사한 특징 찾아내기 | 이미지 대응점

Feature Detection & Matching

 

컴퓨터비전 분야에서의 feature matching은 두 개 이상의 이미지에서 공통적으로 나타나는 특징을 찾아내는 기술이다. 이를 통해 이미지 간의 대응점을 찾거나, 이미지 간의 변화를 추적하는 등 다양한 분야에 활용할 수 있다. 
 
이러한 Feature matching의 과정은 크게 두 가지 단계로 나뉜다. 먼저 각 이미지에서 특징을 검출하고, 이를 이용하여 각 특징들이 어떻게 매칭되는지 찾아내는 것이다.
 

1. Feature Detection (특징 검출)

이미지에서 특징을 검출하기 위해서는 이미지 내의 특이한 패턴이나 구조를 찾아내는 것이 중요하다. 이를 위해 SIFT, SURF, ORB 등의 알고리즘을 사용하는데 이 알고리즘들은 이미지에서 특징점을 검출하고, 이들 주변에서 지역적인 패턴을 추출하여 특징 디스크립터를 생성한다.
 

2. Feature Matching (특징 매칭)

두 이미지에서 추출한 특징 디스크립터 (Feature Descriptor)를 비교하여 대응되는 특징점 쌍을 찾아내는 것이 특징 매칭의 핵심이다. 매칭 방법에는 주로 최근접 이웃(Nearest Neighbor) 매칭과 RANSAC(Random Sample Consensus)을 이용한 매칭이 사용된다.

• Nearest Neighbor Matching (최근접 이웃 매칭): 특징 디스크립터 간의 거리를 계산하여 가장 가까운 특징 디스크립터를 매칭시키는 방법이다. 이때, 이웃과의 거리가 일정 이상 차이나면 매칭을 거부하는 방식으로 거리 임계값을 설정할 수 있다.
• RANSAC : 일부 잘못된 매칭을 걸러내기 위한 방법으로, 일정 개수의 매칭을 무작위로 선택하여 이를 이용하여 모델을 생성하고, 이 모델을 이용하여 나머지 매칭들을 검증하고 정확도가 높은 매칭들만을 선택한다.

 

Feature matching은 이미지 검색, 객체 인식, 영상 분류 등의 분야에서 활용되어 왔고, 특히 multi-view stereo 처럼 여러 장의 서로 다른 시점의 이미지들 속에서 대응점을 찾기 위해 자주 사용된다.
 
 

OpenCV Feature Detection

 

OpenCV에서 제공하는 대표적인 feature detection 알고리즘으로는 SIFT, SURF, ORB, FAST, BRISK, AKAZE 등이 있다. 가장 성능이 좋은 알고리즘은 이미지의 여러 특성 (크기, 방향성, 노이즈, 패턴의 복잡성,...)에 따라 다를 수 있다. 일반적으로는 특징이 단순한 경우에는 FAST나 BRISK 같은 알고리즘이 적합하고 이미지가 크거나 특징이 복잡한 경우 SIFT, SURF, AKAZE와 같은 알고리즘이 적합하다.
 

• SIFT(Scale-Invariant Feature Transform)
  • 이미지의 크기와 회전에 대한 불변성을 가지는 특징점 검출 알고리즘
  • 이미지의 크기와 회전에 강한 특징을 가지고 있어 대부분의 상황에서 안정적인 성능을 보여줌
  • 하지만 SIFT는 컴퓨팅 리소스가 많이 소요
• SURF(Speeded-Up Robust Features)
  • SIFT에서 특징점 검출 및 기술자 계산 속도를 개선한 알고리즘
  • SIFT와 비슷한 성능을 가지면서도 더 빠른 속도를 제공
• ORB(Oriented FAST and Rotated BRIEF)
  • FAST와 BRIEF 알고리즘을 결합한 방식으로, SIFT와 SURF 대비 속도가 매우 빠르면서도 좋은 성능을 가진 알고리즘
  • 이미지를 회전하거나 크기를 바꿨을 때 특징점 검출 결과가 바뀌지 않는 특징
  • 특히, 임베디드 기기나 모바일 앱 등에서의 실시간 연산에 적합한 알고리즘이라 폭넓게 사용
• FAST(Features from Accelerated Segment Test)
  • 이미지에서 빠르게 특징점을 검출하는 알고리즘
  • 단순하고 빠른 알고리즘이기 때문에 다른 알고리즘들과 함께 사용되어, 초기 특징점 검출 후, 보다 정확한 검출 알고리즘(예: BRIEF, SIFT, SURF)을 사용하는 경우가 많음
• BRISK( Binary Robust Invariant Scalable Keypoints)
  • 2011년에 논문으로 발표된 알고리즘으로, 이미지에서 특징점을 검출하기 위해 스케일 공간(scale space)에서 특정한 크기의 패치(patch)를 생성하고, 패치 내의 intensity difference를 이용하여 FAST 방법으로 특징점을 검출
  • 특징점을 묘사하기 위해 intensity difference 값들의 분포를 이용하여 특징점을 기술하는 binary descriptor를 사용
• AKAZE(Accelerated-KAZE)
  • 2013년에 발표된 알고리즘으로, 이미지에서 특징점을 검출하기 위해 KAZE 방법을 사용 
  • KAZE는 이미지의 스케일 공간에서 multiscale 방식으로 이미지를 블러링하고, Difference of Gaussian(DoG)를 사용하여 scale-space 내에서 극한 값(extrema)을 찾음. 이후, extrema에서 Hessian matrix를 이용하여 특징점을 검출
  • AKAZE는 KAZE의 변형으로, 이를 더 빠르게 처리할 수 있도록 설계
  • AKAZE에서는 scale-space 내에서 특징점을 검출한 이후, 그 특징점에 대한 방향(direction)을 추출하여, 그 방향에 따라 특징점의 묘사(descriptor)를 생성

 

OpenCV Feature Matching

 
OpenCV에서 feature matching을 하기 위해서는 대표적으로 SIFT, SURF, ORB 등의 feature detection 및 detection 알고리즘을 사용하고, 이후 feature matching 알고리즘으로는 대표적으로 brute-force matching, FLANN matching 등을 사용할 수 있다.
 

• cv2.BFMatcher()
  • 브루트 포스 매칭(brute-force matching) 알고리즘을 사용하여 특징 매칭을 수행
  • 특히 작은 데이터 셋에서 높은 정확도를 보이며, 대부분의 경우에는 cv2.FlannBasedMatcher() 보다 느리지만 더 나은 결과를 얻을 수 있음

 

• cv2.FlannBasedMatcher()
  • 빠른 Nearest Neighbor 검색을 위한 특징 매칭 알고리즘 중 하나
  • FLANN (Fast Library for Approximate Nearest Neighbors) 알고리즘을 사용하여 특징 디스크립터 사이의 가장 가까운 이웃(Nearest Neighbor)을 찾음
  • 특징 기술자들의 집합에서 k-NN(k-Nearest Neighbor)을 검색하여 두 이미지에서 유사한 특징을 매칭. 기본적으로, cv2.FlannBasedMatcher는 k=2로 설정
    • index_params: Flann 기반 매칭에서 인덱스를 설정하는 파라미터. 딕셔너리 형태로 전달되며, algorithm과 trees 두 가지 하위 파라미터를 가짐
      • algorithm : 매칭에 사용할 알고리즘을 나타내며, 보통은 cv2.flann.IndexParams 클래스의 상수 중 하나를 사용
      • trees : 매칭에 사용될 트리의 개수
    • search_params: 매칭을 수행할 때 검색할 이웃의 개수와 검색할 최대 거리를 설정하는 파라미터. 딕셔너리 형태로 전달되며, checks와 eps 두 가지 하위 파라미터를 가짐
      • checks : 검색할 이웃의 개수
      • eps : 검색할 최대 거리

 

Feature Detection & Matching 예시

 

• 글리코상 이미지와 도톤보리 배경 이미지 간 feature matching
• Feature Detection 알고리즘은 SIFT, ORB, BRISK, AKAZE 사용
• Matching 알고리즘은 brute-force와 flann-based 방법 중 선택 
• 매칭 결과 시각화
• 매칭 포인트 (픽셀 위치) 출력

import cv2

# 이미지 읽기
img1 = cv2.imread('글리코상.png')
img2 = cv2.imread('글리코상1.jpg')

using_FAST = False

feature_detector = dict(SIFT = cv2.SIFT_create(), 
                        ORB = cv2.ORB_create(),
                        brisk = cv2.BRISK_create(),
                        akaze = cv2.AKAZE_create())

matching_type = 'flann' # 'bruteforce' or 'flann'

for type in list(feature_detector.keys()):
    # SIFT 생성
    detector = feature_detector[type]

    # 각 이미지에서 키포인트 및 디스크립터 계산
    if using_FAST == True :
        fast = cv2.FastFeatureDetector_create()
        kp1 = fast.detect(img1, None)
        kp2 = fast.detect(img2, None)
        kp1, des1 = detector.compute(img1, kp1)
        kp2, des2 = detector.compute(img2, kp2)
    else:
        kp1, des1 = detector.detectAndCompute(img1, None)
        kp2, des2 = detector.detectAndCompute(img2, None)

    # 매칭 알고리즘 선정
    if matching_type == 'bruteforce':
        matcher = cv2.BFMatcher()
    elif matching_type == 'flann':
        if type == 'SIFT' or type == 'FAST':
            # SIFT 파라미터
            FLANN_INDEX_KDTREE = 1
            index_params = dict(algorithm=FLANN_INDEX_KDTREE, trees=5)
            search_params = dict(checks=50)
        elif type == 'ORB' :
            # ORB 파라미터
            FLANN_INDEX_LSH = 6
            index_params= dict(algorithm = FLANN_INDEX_LSH,
                            table_number = 6,
                            key_size = 12,
                            multi_probe_level = 1)
            search_params=dict(checks=32)
        matcher = cv2.FlannBasedMatcher(index_params, search_params)


    # 매칭 및 매칭된 포인트 거리 정렬
    matches = matcher.match(des1, des2)
    matches = sorted(matches, key=lambda x:x.distance)
    good_matches = matches[:30]
    
    # 매칭 결과 시각화
    img3 = cv2.drawMatches(img1, kp1, img2, kp2, good_matches, None, flags=2)
    cv2.imshow("Matching result", img3)
    cv2.waitKey(0)
    cv2.destroyAllWindows()

    # 매칭된 지점의 픽셀 위치 추출
    matched_points1 = []
    matched_points2 = []
    for match in good_matches:
        # queryIdx: 첫 번째 이미지에서의 키포인트 인덱스
        # trainIdx: 두 번째 이미지에서의 키포인트 인덱스
        pt1 = kp1[match.queryIdx].pt
        pt2 = kp2[match.trainIdx].pt
        matched_points1.append((int(pt1[0]), int(pt1[1])))
        matched_points2.append((int(pt2[0]), int(pt2[1])))

    # 픽셀 위치 출력
    print("Matched Points in Image1:", matched_points1)
    print("Matched Points in Image2:", matched_points2)

 

결과 

# cv2.drawMatches 함수를 이용한 매칭포인트 시각화

• 첫 번째 이미지와 두 번째 이미지에서 추출된 특징점들 중에서 매칭된 포인트들을 이어서 시각화
• 객체의 시각적 특징에 따라 특징점이 잘 추출되는 feature detection 방법이 다르기 때문에 시각화 테스트가 중요

좌 : SIFT 매칭, 우 : ORB 매칭

좌 : BRISK 매칭, 우 : AKAZE 매칭

# 매칭 포인트 출력

• 매칭 포인트의 픽셀 위치를 알고 싶은 경우 추출 가능
• 위 예시의 경우 두 번째 이미지에서 글리코상이 존재하는 위치 파악 가능
• 제한된 환경에서 객체 검출이 가능

Matched Points in Image1: [(111, 131), (211, 128), (114, 130), (159, 266), (156, 271), (218, 128), (220, 128), (216, 114), (119, 131), (122, 143), (119, 131), (129, 209), (212, 131), (143, 120), (125, 207), (212, 127), (215, 114), (179, 322), (114, 114), (161, 267), (120, 130), (121, 141), (173, 229), (71, 93), (130, 209), (156, 79), (199, 211), (118, 150), (171, 229), (183, 75)]

Matched Points in Image2: [(73, 234), (115, 247), (73, 234), (92, 315), (92, 315), (119, 248), (119, 249), (268, 385), (76, 234), (78, 243), (76, 234), (81, 280), (115, 247), (87, 232), (79, 279), (91, 297), (269, 387), (104, 372), (73, 234), (93, 316), (77, 234), (78, 242), (97, 298), (92, 296), (81, 280), (94, 214), (109, 290), (734, 548), (98, 297), (248, 176)]