딥러닝에서의 확률 분포 | probability distribution

 

정규 분포 예시

 

 

확률 분포는 어떤 사건이 일어날 가능성을 나타내는 수학적 모델로, 확률 변수라고 불리는 변수에 대한 가능한 값들과 그 값들이 나타날 확률을 정의한다. 이러한 분포는 이산적인 경우와 연속적인 경우로 나눌 수 있다. 예를 들어, 주사위를 던졌을 때 나오는 눈에 대한 확률변수가 있을 때, 그 변수의 확률분포는 이산균등분포가 된다.

 

이산 확률 분포(Discrete Probability Distribution)

• 확률 변수가 이산적인 값을 가질 때 사용 됨
• 확률 질량 함수(Probability Mass Function, PMF): 각 값에 대한 확률을 나타내는 함수
• 예시
  • 이항 분포, 포아송 분포 등
  • 주사위의 눈금, 동전을 던졌을 때의 앞면, 뒷면, 로또의 당첨 번호 등

 

 

연속 확률 분포(Continuous Probability Distribution)

• 확률 변수가 연속적인 값을 가질 때 사용 됨
• 확률 밀도 함수(Probability Density Function, PDF): 확률 변수의 특정 값에 대한 확률은 구간에 대한 적분으로 나타내는 함수
• 예시
  • 정규 분포, 균등 분포 등
  • 사람의 키, 몸무게, 온도 등

 

 

딥러닝에서의 확률 분포 활용

• 데이터 모델링 : 확률 분포를 사용하여 데이터의 특성을 모델링할 수 있다. 예를 들어, 이미지의 픽셀 값 분포를 알고 있다면, 새로운 이미지의 생성이나 이상 감지에 활용할 수 있다.
• 손실 함수 정의 : 학습 중에 모델이 얼마나 좋은지 측정하기 위해 사용되는 손실 함수의 정의에도 확률 분포가 사용된다. 실제 값과 모델의 예측 간의 차이를 계산하는 데 사용된다.
• 베이지안 딥러닝 : 베이지안 딥러닝은 확률 분포를 이용하여 모델의 가중치와 매개변수에 대한 불확실성을 다루는 방법이다. 이를 통해 데이터가 부족한 상황에서도 더 안정적인 모델을 구축할 수 있다.

 

사실 머신러닝에서 확률분포가 어떻게 활용되는지 명확하게 이해하려면 Likelihood와 MLE(Maximum Likelihood Estimation)에 대해 이해해야 한다. 간단히 설명하면 특정 파라미터가 주어졌을 때 특정 데이터가 발생할 확률 즉, Likelihood 함수를 최대화하는 파라미터를 찾는 것이 MLE이며 딥러닝에서 모델 파라미터를 업데이트 해가며 최적화하는 것을 뜻한다.

 

확률 분포는 딥러닝에서 데이터 모델링, 불확실성 처리, 모델 평가 등 다양한 측면에서 중요한 역할을 한다. 이를 통해 모델의 성능을 개선하고 예측의 불확실성을 고려할 수 있다. 사실 딥러닝 모델을 개발하기 위해서는 굳이 몰라도 되는 개념이라는 생각이 들기도 하지만, 딥러닝 관련 논문에 확률 통계 개념이 굉장히 자주 등장하기 때문에 간단하게 라도 알아두면 도움이 된다.