Designing Machine Learning Systems (머신러닝 시스템 설계) 대학원에서 경험하는 딥러닝 모델 개발은 실무적인 부분보다는 아무래도 학술적인 부분에 초점이 맞춰져 있다. 지금은 직장에서 딥러닝 모델을 개발하며 여러 실무적인 경험을 하고 있지만, 조금 더 근원적인 공부를 해보면 좋지 않을까라는 생각에 칩 후옌의 "Designing Machine Learning Systems (머신러닝 시스템 설계)"라는 책을 구매했다. 딥러닝 분야의 경우 최근 몇 년간의 발전이 많았기 때문에 관련 서적을 구매할 때 초판 발행일을 보게 되는데, 이 책은 초판 1쇄 발행이 2023년 3월이라 굉장히 최근의 책이다. 저자 - 칩 후옌 칩 후옌은 클레이폿 AI의 공동 창립자이자 CEO이며 엔비디아, 스노클..

Bias : 모델의 출력으로 얻은 예측값과 정답(Ground Truth) 와의 차이의 평균Variance : 다양한 데이터 셋에서 예측값이 얼마나 변화할 수 있는지에 대한 값 머신러닝에서 bias와 variance는 모델이 얼마나 잘 학습되었는지 확인하는 척도 중 하나로, 가장 좋은 경우는 bias와 variance가 모두 낮은 경우이다. (아래 그림 참고)그런데 위의 내용은 너무 당연한 내용이자 결과론적인 이야기이고, bias와 variance는 모델 학습과 연관지어 생각할 필요가 있다. 학습이 덜된 underfitting 구간에는 학습데이터 셋의 예측값도 많이 틀리기 때문에 bias가 높은 상태이고, 적절한 학습 종료 지점을 지난 구간에서는 학습 데이터셋과 모델의 loss를 최소화 하기 위해 over..