
[AI/ML] 딥러닝 정규화 Regularization : Weight Decay, Batch Normalization, Early Stopping
·
📖 Fundamentals/AI & ML
딥러닝 모델은 대규모 데이터셋과 복잡한 신경망 구조를 사용하여 높은 예측 성능을 달성할 수 있다. 하지만 모델이 학습 데이터에 지나치게 맞춰져서 새로운 데이터에 대한 일반화 능력이 떨어지는 '과적합(overfitting)' 문제가 발생할 수 있는데. 이를 방지하고 모델의 일반화 성능을 향상시키기 위해 '정규화(regularization)' 기법이 사용된다.Regularization (정규화)란 무엇인가? 정규화는 모델의 복잡성을 제어하여 과적합을 방지하고 일반화 성능을 향상시키는 기법이다. 이는 모델의 학습 과정에서 특정 제약 조건을 추가함으로써 이루어 지는데, 이러한 제약 조건은 모델이 지나치게 학습 데이터에 맞추지 않도록 하여 새로운 데이터에 대해 더 잘 일반화할 수 있도록 한다. 대표적으로 아래와 ..