Information(정보량) : 불확실성을 제거하기 위해 필요한 질문의 수 또는 어떤 이벤트가 발생하기까지 필요한 시행의 수 Entropy : 확률분포 P(x)에 대한 정보량의 기댓값, 불균형한 분포보다 균등한 분포의 경우 불확실성이 더 높기 때문에 엔트로피가 더 높음Cross Entropy : 데이터의 확률 분포를 P(x), 모델이 추정하는 확률 분포를 Q(x)라 할때, 두 확률 분포 P와 Q의 차이를 측정하는 지표KL-divergence : 두 확률 분포 P, Q 가 있을 때, P를 근사하기 위한 Q 분포를 통해 샘플링할 때 발생하는 정보량의 손실 (Cross Entropy(P,Q) - Entropy(P)) 이 때 머신러닝 모델의 목표는 확률 분포 P와 모델의 예측 확률 분포 Q의 차이인 KL di..