본문 바로가기

📖 Theory/AI & ML12

[ML] Cross Entropy( + Loss) & MSE Loss 설명 Information(정보량) : 불확실성을 제거하기 위해 필요한 질문의 수 또는 어떤 이벤트가 발생하기까지 필요한 시행의 수 Entropy : 확률분포 P(x)에 대한 정보량의 기댓값, 불균형한 분포보다 균등한 분포의 경우 불확실성이 더 높기 때문에 엔트로피가 더 높음 Cross Entropy : 데이터의 확률 분포를 P(x), 모델이 추정하는 확률 분포를 Q(x)라 할때, 두 확률 분포 P와 Q의 차이를 측정하는 지표 KL-divergence : 두 확률 분포 P, Q 가 있을 때, P를 근사하기 위한 Q 분포를 통해 샘플링할 때 발생하는 정보량의 손실 (Cross Entropy(P,Q) - Entropy(P)) 이 때 머신러닝 모델의 목표는 확률 분포 P와 모델의 예측 확률 분포 Q의 차이인 KL .. 2022. 3. 23.

[ML] Classification과 Regression의 차이 Classification(분류)과 Regression(회귀) 알고리즘은 supervised learning(지도 학습) 알고리즘으로, 두 알고리즘 모두 머신러닝의 예측에 사용되며 레이블이 지정된 데이터셋과 함께 사용된다. Classification과 Regression의 주된 차이는 classification의 경우 남성 vs 여성, 참 vs 거짓 등의 discrete한 value를 예측/분류하는데 사용되고, regression은 가격, 급여, 나이 등과 같은 continuous한 value를 예측하는데 사용된다는 점이다. Classification 데이터셋을 다양한 파라미터를 기반으로 클래스를 나누는데 도움이 되는 함수를 찾는 프로세스 입력 x를 discrete한 출력 y에 매핑하는 매핑 함수를 찾는.. 2022. 3. 23.

[ML] Classification 성능 평가 방법 Classification의 성능 평가 방법인 TP, TN, FP, FN, Recall, Precision, ROC,... 등을 정리 Binary classification 성능 평가 True Positive(TP) : P → P 로 예측 (정답) True Negative(TN) : N → N 으로 예측 (정답) False Positive(FP) : N → P 로 예측 (오답) False Negative(FN) : P → N 으로 예측 (오답) Accurarcy : 모든 입력 데이터 중, 잘 분류한 데이터의 비율 Recall : Positive 중에 Positive라고 예측한 비율. (P→P)와 (P→N) 중 (P→P)의 비율 Precision : Positive 라고 예측한 것 중 실제 positive.. 2022. 3. 23.

[ML] Bias와 Variance : 머신러닝 모델 평가 방법 Bias : 모델의 출력으로 얻은 예측값과 정답(Ground Truth) 와의 차이의 평균 Variance : 다양한 데이터 셋에서 예측값이 얼마나 변화할 수 있는지에 대한 값 머신러닝에서 bias와 variance는 모델이 얼마나 잘 학습되었는지 확인하는 척도 중 하나로, 가장 좋은 경우는 bias와 variance가 모두 낮은 경우이다. (아래 그림 참고) 그런데 위의 내용은 너무 당연한 내용이자 결과론적인 이야기이고, bias와 variance는 모델 학습과 연관지어 생각할 필요가 있다. 학습이 덜된 underfitting 구간에는 학습데이터 셋의 예측값도 많이 틀리기 때문에 bias가 높은 상태이고, 적절한 학습 종료 지점을 지난 구간에서는 학습 데이터셋과 모델의 loss를 최소화 하기 위해 ov.. 2022. 3. 22.

[ML] Gradient Descent Algorithms (경사하강법) 개념 Gradient Descent (경사하강법)은 1차 근삿값 발견용 최적화 알고리즘으로 함수의 기울기를 구하고 경사의 반대 방향으로 계속 이동시켜 극값에 이를 때까지 반복하는 알고리즘이다. 머신러닝에는 Gradient Descent 를 사용하여 모델의 오차(Loss)가 작아지는 방향으로 모델을 업데이트(학습)시키는 것 SGD(Stochastic Gradient Descent) Batch Gradient Descent : 전체 Dataset에 대해 parameter 들의 gradient를 구함(많은 memory 필요) SGD : 전체 dataset에서 mini-batch 만큼의 gradient를 계산하여 parameter update Batch gradient descent 보다 빠르지만 local mini.. 2022. 1. 13.

[ML] Back Propagation (오차 역전파) 개념 및 예시 Back propagation ? - 기존에 설정된 weight, bias 로 feed forward를 진행하여 prediction값과 ground truth 값의 차이인 Loss를 계산 - Loss를 forward 반대 방향으로 전파시키며 weight, bias를 loss를 최소화 하는 방향으로 update (gradient descent 알고리즘 사용) Back Propagation 기본 스텝 - Weight, Bias의 변화에 따른 최종 loss의 변화량을 chain rule을 이용하여 분리해서 계산 - 이러한 극소 미분을 행렬로 표현되는 수학 공식을 이용하여 계산 Back propagation 예시 · 파라미터 값(Hidden layer 1개) - 각 layer의 parameter값 · Weigh.. 2022. 1. 12.

이전 1 2 다음

티스토리툴바