반응형
Back propagation ?
- 기존에 설정된 weight, bias 로 feed forward를 진행하여 prediction값과 ground truth 값의 차이인 Loss를 계산
- Loss를 forward 반대 방향으로 전파시키며 weight, bias를 loss를 최소화 하는 방향으로 update (gradient descent 알고리즘 사용)
Back Propagation 기본 스텝
- Weight, Bias의 변화에 따른 최종 loss의 변화량을 chain rule을 이용하여 분리해서 계산
- 이러한 극소 미분을 행렬로 표현되는 수학 공식을 이용하여 계산
Back propagation 예시
· 파라미터 값(Hidden layer 1개)
- 각 layer의 parameter값
· Weight, Bias update
· Details ?
더보기
![](https://blog.kakaocdn.net/dn/JX6wX/btrqzRjNLaG/Im3x4P5LWFn54thbCUk1v0/img.png)
![](https://blog.kakaocdn.net/dn/QOu5h/btrqvyyzNos/RmjvAdZl6N1qhVrNzCltDK/img.png)
![](https://blog.kakaocdn.net/dn/bjQlW1/btrquP8nW09/EKgf7VWXOWsKjIO0eZqUPk/img.png)
![](https://blog.kakaocdn.net/dn/ddbbC8/btrqyrsdTiM/yVO48VKAkr17yZ3e0Vsko1/img.png)
![](https://blog.kakaocdn.net/dn/UXMiA/btrqvVUp0f1/GIRtLZ5aOMrTh964Mokwf1/img.png)
![](https://blog.kakaocdn.net/dn/ZQPub/btrqwuikwca/t9SCk90AQObri3qHBVqymk/img.png)
![](https://blog.kakaocdn.net/dn/TR5M2/btrqAU7XsE6/HAUYKbNxNZle7YEGNUINj0/img.png)
![](https://blog.kakaocdn.net/dn/eFJL5z/btrqzRKTEk2/bkFKS503eToRqYX29QKGm1/img.png)
![](https://blog.kakaocdn.net/dn/deNqXK/btrqAVZ4JSt/nrWGYhjACr717u6b7xCAGk/img.png)
# Output layer
![](https://blog.kakaocdn.net/dn/JX6wX/btrqzRjNLaG/Im3x4P5LWFn54thbCUk1v0/img.png)
- Output layer의 미분값
![](https://blog.kakaocdn.net/dn/QOu5h/btrqvyyzNos/RmjvAdZl6N1qhVrNzCltDK/img.png)
- Weight
![](https://blog.kakaocdn.net/dn/bjQlW1/btrquP8nW09/EKgf7VWXOWsKjIO0eZqUPk/img.png)
- Bias
![](https://blog.kakaocdn.net/dn/ddbbC8/btrqyrsdTiM/yVO48VKAkr17yZ3e0Vsko1/img.png)
![](https://blog.kakaocdn.net/dn/UXMiA/btrqvVUp0f1/GIRtLZ5aOMrTh964Mokwf1/img.png)
# Hidden layer
![](https://blog.kakaocdn.net/dn/ZQPub/btrqwuikwca/t9SCk90AQObri3qHBVqymk/img.png)
![](https://blog.kakaocdn.net/dn/TR5M2/btrqAU7XsE6/HAUYKbNxNZle7YEGNUINj0/img.png)
![](https://blog.kakaocdn.net/dn/eFJL5z/btrqzRKTEk2/bkFKS503eToRqYX29QKGm1/img.png)
![](https://blog.kakaocdn.net/dn/deNqXK/btrqAVZ4JSt/nrWGYhjACr717u6b7xCAGk/img.png)
정리
반응형
'📖 Theory > AI & ML' 카테고리의 다른 글
[ML] Cross Entropy( + Loss) & MSE Loss 설명 (0) | 2022.03.23 |
---|---|
[ML] Classification과 Regression의 차이 (0) | 2022.03.23 |
[ML] Classification 성능 평가 방법 (0) | 2022.03.23 |
[ML] Bias와 Variance : 머신러닝 모델 평가 방법 (0) | 2022.03.22 |
[ML] Gradient Descent Algorithms (경사하강법) 개념 (0) | 2022.01.13 |