Precision, Recall, AP (Average Precision) 간단 설명 | 객체 검출 성능 지표

Object Detection(객체 검출) 모델의 성능을 측정하기 위해서는 Precision(정밀도), Recall(재현율), 그리고 Average Precision(AP)를 꼭 알아야 한다. ML를 공부하다 보면 한 번 이상은 공부하는 개념인데, 늘 헷갈리는 부분이 있기에 정리해 두려 한다. 

 

객체 검출과 작업에서는 Precision, Recall 등의 개념이 중요한데, 그 이유는 객체 검출 성능이 좋지않을 때 오검출을 많이 했을 수도 있고, 검출 자체가 잘 안됐을 수도(미검출) 있기 때문이다.

 

이게 왜 중요할까? 객체 검출 작업에 따라 오검출이 치명적인 경우도 있고, 미검출이 치명적인 경우도 있기 때문이다.

 

다른 설명들을 보면 True positive, False positive,... 등의 복잡한 개념이 많은데 한 번씩 이해는 해야한다. 하지만 더 중요한 것은 precision과 recall이 높고 낮음에 따라 무엇이 다른지를 이해하는 것이다. 아래에서 해당 내용을 살펴보자.

---

 

Precision (정밀도)

• 모델이 양성으로 예측한 것 중에서 실제로 양성인 비율
• Precision = (True Positives) / (True Positives + False Positives)
• Precision↑ : 모델이 예측한 양성이 대부분 실제 양성 / 오검출 적음
• Precision↓ : 모델이 양성으로 예측한 대부분이 실제로는 음성 / 오검출 다수

 

 

Recall (재현율)

• 실제 양성 중에서 모델이 정확하게 감지한 비율
• Recall = (True Positives) / (True Positives + False Negatives)
• Recall↑ : 모델이 대부분의 실제 양성을 감지 / 미검출 적음
• Recall↓ : 모델이 실제 양성 중 일부를 감지하지 못한 경우 / 미검출 다수

 

precision이 낮다는 것은 오검출이 많다는 것이고, recall이 낮다는 것은 미검출이 많다는 것이다. 때문에 일반적으로 score thresholod에 따라 precision과 recall은 반비례 관계가 된다. 많이 검출하다 보면 미검출은 적어지지만 오검출이 많아지고, 보수적으로 검출하다보면 오검출은 적어지미만 미검출이 많아지니까. 

때문에 객체 검출에서는 precision과 recall이 모두 중요하다. 그렇다면 가장 좋은 모델을 고르기 위해선 어떤 지표를 봐야할까? 아래의 Average Precision을 보자.

 

 

 

 

AP (Average Precision)

• Precision-Recall 곡선(양성 예측의 Precision과 Recall 간의 관계를 보여주는 곡선) 아래의 면적
• AP는 모델이 어떤 Recall 값에서 얼마나 좋은 성능을 보이는지를 측정하며, 여러 Recall 값에 대한 AP를 평균내면 모델의 전반적인 성능을 측정할 수 있다.
• 모델의 적절한 precision-recall 비율을 설정하기 위해 Score Threshold 를 설정하는 과정이 필요한데, 이 과정 전에 어떤 모델 웨이트를 선택할지가 선행되어야 한다. 이 때 일반적으로 AP가 높은 모델을 선택한다.

---

 

이처럼 Precision, Recall, AP는 객체 검출 모델의 성능을 종합적으로 평가하기 위해 사용된다. 고정된 Threshold에서 측정되는 Precision과 Recall은 모델의 성능을 특정한 조건에서 평가하는 데 사용되며, AP는 모델의 성능을 다양한 Threshold 값에서 평균화하여 측정한 값이다. AP가 높을수록 모델이 높은 precision와 recall을 가지고 있는 것으로 해석된다는 것을 알아두자.