NMS (Non-Maximum Suppression) | 객체 검출에서 겹치는 bbox를 제거하는 방법

 

NMS 예시

Non-Maximum Suppression(NMS)은 객체 감지 모델에서 겹치는 Bounding Box를 제거하여 최종 결과를 정리하는 기술이다. 이를 통해 모델의 출력을 간결하게 하고 중복된 결과를 제거함으로써 정확한 객체 감지를 할 수 있게 된다. 

 

NMS의 원리는 여러 후보 bbox 중에서 겹치는 상자들을 필터링하는 것인데, 겹치는 상자들 중에서 가장 확률이 높은 상자를 선택하고 그와 겹치는 상자들을 제거하는 방식이라고 보면 된다.

 

이러한 NMS는 모델의 출력을 정리하고 중복된 결과를 제거하여 더 정확한 결과를 얻을 수 있도록 하며 특히, 한 객체에 대해 여러 개의 겹치는 경계 상자가 생성된 경우 이를 정리하는 데 사용된다. Object Detection 모델 중 Faster R-CNN, YOLO와 같은 모델에서 활용된다.

 

조금 더 자세한 동작 원리는 다음과 같다.

 

NMS

• 점수 부여 (Scoring) : 각 경계 상자에 대해 모델은 해당 상자에 속한 객체일 확률 또는 점수를 부여
• 정렬 (Sorting): 경계 상자들은 부여된 점수에 따라 내림차순으로 정렬. 가장 높은 점수를 갖는 상자가 리스트의 맨 위에 위치.
• 가장 높은 점수 상자 선택 : 정렬된 상자 중에서 가장 높은 점수를 가진 상자를 선택하고 최종 결과 리스트에 추가
• 임계값 설정 : 일정한 IoU(Intersection over Union) 임계값을 설정. 
• 임계값 이하 상자 제거 : 선택한 상자와 IoU가 설정한 임계값 이상인 다른 상자들을 찾고, 이 중에서 IoU가 높은 상자들을 제거
• 반복 : 위의 과정을 가장 높은 점수를 가진 상자를 제외한 나머지 상자에 대해 반복
• 최종 결과 : 반복을 거쳐 얻은 상자들이 최종 객체 감지 결과가 됨. 이때 각 상자는 겹치지 않도록 최종적으로 선택

 

NMS 예제코드

import numpy as np
import matplotlib.pyplot as plt
import matplotlib.patches as patches

def non_max_suppression(boxes, scores, iou_threshold):
    # 박스의 넓이 계산
    areas = (boxes[:, 2] - boxes[:, 0] + 1) * (boxes[:, 3] - boxes[:, 1] + 1)

    # 점수에 따라 박스 정렬 (높은 점수부터)
    order = np.argsort(scores)[::-1]

    # 최종 선택된 박스의 인덱스 리스트
    selected_boxes = []

    while order.size > 0:
        # 가장 높은 점수를 갖는 박스 선택
        index = order[0]
        selected_boxes.append(index)

        # 선택된 박스와의 IoU를 계산
        x1 = np.maximum(boxes[index, 0], boxes[order[1:], 0])
        y1 = np.maximum(boxes[index, 1], boxes[order[1:], 1])
        x2 = np.minimum(boxes[index, 2], boxes[order[1:], 2])
        y2 = np.minimum(boxes[index, 3], boxes[order[1:], 3])

        # 겹치는 영역 계산
        intersection = np.maximum(0.0, x2 - x1 + 1) * np.maximum(0.0, y2 - y1 + 1)

        # IoU 계산
        iou = intersection / (areas[index] + areas[order[1:]] - intersection)

        # IoU가 임계값보다 작은 박스들만 남기기
        inds = np.where(iou <= iou_threshold)[0]
        order = order[inds + 1]

    return selected_boxes

boxes = np.array([[30, 20, 80, 70], [40, 30, 90, 80], [25, 15, 75, 65]])
scores = np.array([0.9, 0.75, 0.6])
iou_threshold = 0.5

selected_indices = non_max_suppression(boxes, scores, iou_threshold)
selected_boxes = boxes[selected_indices]

print("선택된 박스 인덱스:", selected_indices)
print("선택된 박스 좌표:", selected_boxes)

# 시각화
fig, ax = plt.subplots(1, 2, figsize=(10, 5))

# NMS 이전의 바운딩 박스 시각화
for box, score in zip(boxes, scores):
    rect = patches.Rectangle((box[0], box[1]), box[2] - box[0], box[3] - box[1],
                             linewidth=1, edgecolor='r', facecolor='none')
    ax[0].add_patch(rect)
    ax[0].text(box[0], box[1], f'{score:.2f}', color='r')

ax[0].set_title('Before NMS')
ax[0].set_xlim(0, 100)
ax[0].set_ylim(0, 80)

# NMS 이후의 바운딩 박스 시각화
for box, score in zip(selected_boxes, scores[selected_indices]):
    rect = patches.Rectangle((box[0], box[1]), box[2] - box[0], box[3] - box[1],
                             linewidth=1, edgecolor='b', facecolor='none')
    ax[1].add_patch(rect)
    ax[1].text(box[0], box[1], f'{score:.2f}', color='b')

ax[1].set_title('After NMS')
ax[1].set_xlim(0, 100)
ax[1].set_ylim(0, 80)

plt.show()

좌 : threshold = 0.5, 우 : threshold = 0.3

 

NMS를 수행하는 함수와 예제 코드이며, iou thresholod를 조정하여 박스가 겹치는 정도에 따라 필터링을 수행할 수 있다.