[AI/ML] Bias와 Variance : 머신러닝 모델 평가 방법

 

• Bias : 모델의 출력으로 얻은 예측값과 정답(Ground Truth) 와의 차이의 평균
• Variance : 다양한 데이터 셋에서 예측값이 얼마나 변화할 수 있는지에 대한 값

 

머신러닝에서 bias와 variance는 모델이 얼마나 잘 학습되었는지 확인하는 척도 중 하나로, 가장 좋은 경우는 bias와 variance가 모두 낮은 경우이다. (아래 그림 참고)

그런데 위의 내용은 너무 당연한 내용이자 결과론적인 이야기이고, bias와 variance는 모델 학습과 연관지어 생각할 필요가 있다.

 

학습이 덜된 underfitting 구간에는 학습데이터 셋의 예측값도 많이 틀리기 때문에 bias가 높은 상태이고, 적절한 학습 종료 지점을 지난 구간에서는 학습 데이터셋과 모델의 loss를 최소화 하기 위해 overfitting이 발생하여 variance가 높은 상태가 되는 것이다.

 

아래 그림들을 보면 조금 더 이해가 쉬워진다.

 

Underfitting, Overfitting과 Bias, Variance 와의 관계

Underfitting, Overfitting과 Bias, Variance 와의 관계

 

Underfitting과 Overfitting은 학습 종료시점에 따라 발생할 수도 있지만, 머신러닝 모델과 task(dataset)와의 관계와도 관련이 있다.

 

• High Bias / underfitting : 주로 underfitting은 풀어야할 task에 비해 모델의 capability가 약한 경우에 발생
• High Variance / overfitting : 주로 overfitting은 풀어야할 task에 비해 모델의 capability가 너무 좋은 경우에 발생

 

때문에 Low bais, Low variance 결과를 가지는 모델을 학습시키기 위해서는 1. validation set 을 사용, 2. task 대비 적절한 사이즈의 모델 사용, 3. 적절한 regularization 사용하는 것이 중요하다.