๋ฐ์ํ
Classification์ ์ฑ๋ฅ ํ๊ฐ ๋ฐฉ๋ฒ์ธ TP, TN, FP, FN, Recall, Precision, ROC,... ๋ฑ์ ์ ๋ฆฌ
Binary classification ์ฑ๋ฅ ํ๊ฐ
- True Positive(TP) : P → P ๋ก ์์ธก (์ ๋ต)
- True Negative(TN) : N → N ์ผ๋ก ์์ธก (์ ๋ต)
- False Positive(FP) : N → P ๋ก ์์ธก (์ค๋ต)
- False Negative(FN) : P → N ์ผ๋ก ์์ธก (์ค๋ต)
- Accurarcy : ๋ชจ๋ ์ ๋ ฅ ๋ฐ์ดํฐ ์ค, ์ ๋ถ๋ฅํ ๋ฐ์ดํฐ์ ๋น์จ
- Recall : Positive ์ค์ Positive๋ผ๊ณ ์์ธกํ ๋น์จ. (P→P)์ (P→N) ์ค (P→P)์ ๋น์จ
- Precision : Positive ๋ผ๊ณ ์์ธกํ ๊ฒ ์ค ์ค์ positive ์ธ ๋น์จ. (P→P)์ (N→P) ์ค (P→P)์ ๋น์จ
- Receiver Operating Characteristics (ROC) : TPR๊ณผ FPR์ ๊ฐ๊ฐ ์ธ๋ก์ถ ๊ฐ๋ก์ถ์ผ๋ก ํ ๊ทธ๋ํ. TPR์ positive ๋ฐ์ดํฐ ์ค positive๋ก ์์ธกํ ๋น์จ(recall๊ณผ ๋์ผ)๋ก ๋์ ์๋ก ์ข๊ณ , FPR์ negative ๋ฐ์ดํฐ ์ค positive๋ก ์๋ชป ์์ธกํ ๋น์จ๋ก ๋ฎ์์๋ก ์ข๋ค. ํ์ง๋ง, binary classification์ ๊ฒฝ์ฐ TPR ๊ณผ FPR์ ํธ๋ ์ด๋ ์คํ์ ๊ด๊ณ๋ฅผ ๊ฐ์ง๋ฏ๋ก ROC curve๋ฅผ visualizeํ์ฌ ๊ฐ ์๊ณ๊ฐ์์์ ์ฑ๋ฅ์ ํ์ธํ๋ ๊ฒ์ด ์ค์ํ๋ค.
- Area Under Curve (AUC) : ROC curve์ ์ฐํ๋จ ์ชฝ์ ๋ฉด์ ์ผ๋ก, AUC๊ฐ 1์ ๊ฐ๊น์ธ ์๋ก ์ข์ ์ฑ๋ฅ์ด๋ค.
Multi-class Classification ์ฑ๋ฅ ํ๊ฐ
- Mean Accuracy : ์ ์ฒด ํด๋์ค ์ค ์ ๋ต์ ๋ง์ถ๋ ๋น์จ ํ๊ท
- Standard Deviation : ํ์ค ํธ์ฐจ
- Confusion Matrix : ํด๋์ค by ํด๋์ค ์์ธก ๋น์จ
- t-distributed Stochastic Neighbor Embedding(t-SNE) : ๊ณ ์ฐจ์์ ๋ฐ์ดํฐ๋ฅผ 2์ฐจ์์ผ๋ก ์ฐจ์์ถ์ํ์ฌ ์๊ฐํ
- ์ถ๊ฐ : # of parameters, FLOPS, GPU Time, ํ์ต ์๋,.. etc
- multi-class ์ ๊ฒฝ์ฐ ์ฌ๋ฌ class์ ํ๊ท ์ ํ๋๋ฅผ ๊ธฐ๋ณธ์ผ๋ก training/test dataset ์ split์ด ์ฌ๋ฌ๊ฐ๋ก ๋๋์ด ์๋ ๊ฒฝ์ฐ, ํ์คํธ์ฐจ๋ฅผ ํจ๊ป ๋ช ์ (ํ์คํธ์ฐจ๊ฐ ๋ฎ์์๋ก ๋ฐ์ดํฐ์ ์ robustํ ์์ ์ ์ธ ๋ชจ๋ธ๋ก ๋ณผ ์ ์์)
- ๋ํ, class by class ์ฑ๋ฅ์ ๋ณด๊ธฐ ์ํด confusion matrix๋ฅผ ์ฌ์ฉํ๊ฑฐ๋, ์ด์ SOTA ๋ชจ๋ธ๋ค๊ณผ ๊ณตํํ๊ฒ ๋น๊ตํ๊ธฐ ์ํด ๋ฅ๋ฌ๋ ๋ชจ๋ธ์ ํ๋ผ๋ฏธํฐ ์, ๊ณ์ฐ๋ ๋ฑ์ ๋ช ์ (์๋ฌด๋ฆฌ ์ฑ๋ฅ์ด ์ข์์ ธ๋ ํ๋ผ๋ฏธํฐ ์๊ฐ ๋๋ฌด ๋ง์์ง๊ฑฐ๋ ๊ณ์ฐ๋์ด ๋๋ฌด ๋ง์์ง๋ค๋ฉด ๋นํจ์จ์ ์ธ ๋ชจ๋ธ์ด๊ธฐ ๋๋ฌธ)
- t-SNE์ ๊ฒฝ์ฐ ๋ฐ์ดํฐ๋ฅผ feature space๋ก embedding ํ ๊ฒฐ๊ณผ๊ฐ ๊ฐ์ ํด๋์ค๋ผ๋ฆฌ ์ผ๋ง๋ ์ ๋ญ์น๊ณ , ๋ค๋ฅธ ํด๋์ค์๋ ์ ๋ถ๋ฆฌ๋๋์ง ์๊ฐํํ๊ธฐ ์ํด ์ฌ์ฉ. ๋ํ, ๋ค๋ฅธ ํด๋์ค์ด์ง๋ง ์ ์ฌํ ํด๋์ค๋ผ๋ฆฌ๋ feature space์์ ๊ฐ๊น๊ฒ ์์นํ๋ ๋ฑ manifold ์ฐจ์์์์ ๋ถ์์ด ๊ฐ๋ฅ.
๋ฐ์ํ
'๐ Theory > AI & ML' ์นดํ ๊ณ ๋ฆฌ์ ๋ค๋ฅธ ๊ธ
[ML] Cross Entropy( + Loss) & MSE Loss ์ค๋ช (0) | 2022.03.23 |
---|---|
[ML] Classification๊ณผ Regression์ ์ฐจ์ด (0) | 2022.03.23 |
[ML] Bias์ Variance : ๋จธ์ ๋ฌ๋ ๋ชจ๋ธ ํ๊ฐ ๋ฐฉ๋ฒ (0) | 2022.03.22 |
[ML] Gradient Descent Algorithms (๊ฒฝ์ฌํ๊ฐ๋ฒ) ๊ฐ๋ (0) | 2022.01.13 |
[ML] Back Propagation (์ค์ฐจ ์ญ์ ํ) ๊ฐ๋ ๋ฐ ์์ (0) | 2022.01.12 |