[Gen AI] 이미지 생성 모델의 평가 지표 정리 | FID, IS, CLIP Score, LPIPS,...

이미지 생성 모델의 품질을 평가하기 위해 다양한 정량적 지표가 사용된다. 본 포스트에서는 FID, IS, Precision/Recall, CLIP score, LPIPS 등 대표적인 평가 지표들을 개념, 계산 방식, 해석 방법 중심으로 정리한다.

 

1. FID (Fréchet Inception Distance)

FID는 생성된 이미지들의 분포가 실제 이미지의 분포와 얼마나 유사한지를 측정하는 대표적인 지표이다. 직접적으로 이미지 간의 유사도를 1:1로 비교하는 방식이 아니라, 이미지에서 추출한 특징(feature)의 전체 분포를 비교한다는 점에서 매우 강력하고 직관적인 성질을 가진다.

 

계산 방식

1. InceptionV3 모델을 통해 실제 이미지들과 생성 이미지들에서 2048차원 feature를 추출한다.
2. 두 분포의 평균(μ)과 공분산(Σ)을 구한다.
3. Fréchet Distance 공식을 사용해 두 분포 간의 거리를 계산한다.

해석

• 값이 낮을수록 좋다. (0에 가까울수록 생성 이미지 분포가 실제와 유사하다는 의미)
• 전체 분포 단위의 평가이므로 이미지 하나하나의 품질보다는 전체 분포 유사성을 본다.
• 단순히 "좋아 보이는 샘플" 몇 개를 평가하는 것이 아니라, 모델이 전체 데이터 분포를 얼마나 잘 재현했는지를 수치화할 수 있다. 이는 특히 모델이 학습한 데이터의 다양성과 품질을 동시에 평가하는 데 효과적이다.
• FID는 실험적으로 인간 평가와의 상관관계가 높은 것으로 나타났기 때문에, 정량적인 수치임에도 사람이 봤을 때 좋은 이미지와 대체로 일치하는 판단을 내릴 수 있다.

 

2. IS (Inception Score)

IS는 생성된 이미지가 명확한 분류 결과를 가지는지와, 생성된 이미지들 간에 다양성이 있는지를 동시에 평가한다.

 

계산 방식

1. InceptionV3 모델의 softmax 출력 p(y|x)를 통해 이미지가 얼마나 특정 클래스로 잘 분류되는지 측정
2. 생성된 이미지들의 평균 분포 p(y)와 각 이미지의 (y|x)를 KL Divergence로 비교

해석

• IS가 높다는 것은, 모델이 의미 있고, 다양한 이미지를 생성했다는 것을 의미
  • p(y|x) 가 sharp할수록 → 개별 이미지가 분명한 클래스를 가진다 (즉, "의미 있는 이미지").
  • p(y) 가 uniform할수록 → 다양한 클래스의 이미지가 생성되었다는 뜻 (즉, "다양성").
• 높은 IS는 이미지 하나하나가 뚜렷한 객체를 표현하고 있으며, 동시에 다양한 클래스를 포함하고 있음을 의미한다.
• 다만 실제 이미지와 비교하지 않기 때문에 현실성과 무관할 수 있다.

 

3. Precision & Recall (생성 분포 vs 실제 분포)

Precision은 생성된 이미지들이 실제 이미지 분포 내에 잘 포함되어 있는지를 측정하고, Recall은 실제 이미지들이 생성 모델이 커버하는 분포 안에 포함되어 있는지를 측정한다.

 

계산 방식 (feature space 상에서)

1. 생성 이미지와 실제 이미지 모두를 InceptionV3 등을 통해 임베딩 (2048 차원)
   • 생성된 이미지들: G={g1,g2,…,gn}
   • 실제 이미지들: R={r1,r2,…,rm}
2. 각 임베딩 포인트 gi, rj 주변에 반지름 ε의 hypersphere 생성
3. 포인트 커버리지 확인
   • Precision: 각 gi에 대해, 그 안에 실제 이미지 rj가 들어오는지 확인 → 비율 계산
   • Recall: 각 rj에 대해, 그 안에 생성 이미지 gi​가 들어오는지 확인 → 비율 계산

해석

• Precision이 높으면 "진짜 같은 이미지"가 많고,
• Recall이 높으면 "다양한 이미지"를 잘 생성하고 있다는 뜻이다.
• 두 값을 모두 높게 유지하는 것이 좋다.

 

4. CLIP Score

CLIP Score는 텍스트와 이미지 간 의미적 일치도를 측정하는 지표다. 텍스트 프롬프트와 생성된 이미지가 얼마나 의미적으로 잘 대응되는지를 CLIP 모델을 통해 계산한다.

계산 방식

1. 텍스트 프롬프트와 생성 이미지 각각을 CLIP의 텍스트/비전 인코더에 통과시켜 임베딩 벡터를 추출
2. 두 벡터 간의 코사인 유사도 계산

해석

• 값이 높을수록 텍스트와 이미지의 의미가 잘 일치한다는 의미
• 단순히 이미지가 ‘진짜처럼 보이느냐’를 넘어서, “요청한 내용에 맞는 이미지인가?”를 정량화
  • 예: "A dog wearing a red hat" → 정말 빨간 모자를 쓴 강아지가 나왔는가?
• Text-to-Image 태스크에서 프롬프트 충실도를 평가할 수 있다.

 

5. LPIPS (Learned Perceptual Image Patch Similarity)

LPIPS는 두 이미지 간의 지각적인 유사성(perceptual similarity)을 측정한다. 단순한 픽셀 값 차이(MSE 등)가 아닌, 딥러닝 모델의 다중 레이어 feature 차이를 기반으로 유사도를 계산한다.

 

계산 방식

1. 두 이미지를 pretrained 모델(VGG, AlexNet 등)에 입력
2. 여러 층의 feature map을 추출
3. 대응되는 레이어끼리의 L2 거리 계산 후 가중 평균

해석

• 값이 낮을수록 두 이미지가 지각적으로 유사하다.
• 1:1 비교에 적합하며, 보통 원본 이미지와 생성 이미지의 품질 유사도를 볼 때 사용된다.

---

이처럼 다양한 지표들이 서로 다른 관점에서 이미지 생성 모델의 성능을 측정한다. FID는 분포 유사성, IS는 다양성과 뚜렷함, Precision/Recall은 커버리지, CLIP Score는 텍스트 충실도, LPIPS는 지각적 유사성을 반영한다. 따라서 하나의 지표만으로 판단하기보다는, 여러 지표를 함께 사용하는 것이 바람직하다.