[ML] Back Propagation (오차 역전파) 개념 및 예시

Back propagation ?

 

 

- 기존에 설정된 weight, bias 로 feed forward를 진행하여 prediction값과 ground truth 값의 차이인 Loss를 계산

- Loss를 forward 반대 방향으로 전파시키며 weight, bias를 loss를 최소화 하는 방향으로 update (gradient descent 알고리즘 사용)

 

 

Back Propagation 기본 스텝

 

- Weight, Bias의 변화에 따른 최종 loss의 변화량을 chain rule을 이용하여 분리해서 계산

- 이러한 극소 미분을 행렬로 표현되는 수학 공식을 이용하여 계산

 

Back propagation 예시

 

· 파라미터 값(Hidden layer 1개)

- 각 layer의 parameter값

 

· Weight, Bias update

 

 

· Details ?

# Output layer

- Output layer의 미분값

- Weight

- Bias

 

# Hidden layer

 

 

 

 

 

정리