[ML] Gradient Descent Algorithms (경사하강법) 개념

Gradient Descent (경사하강법)은 1차 근삿값 발견용 최적화 알고리즘으로 함수의 기울기를 구하고 경사의 반대 방향으로 계속 이동시켜 극값에 이를 때까지 반복하는 알고리즘이다.

 

머신러닝에는 Gradient Descent 를 사용하여 모델의 오차(Loss)가 작아지는 방향으로 모델을 업데이트(학습)시키는 것

 

 

 

SGD(Stochastic Gradient Descent)

• Batch Gradient Descent : 전체 Dataset에 대해 parameter 들의 gradient를 구함(많은 memory 필요)
• SGD : 전체 dataset에서 mini-batch 만큼의 gradient를 계산하여 parameter update
• Batch gradient descent 보다 빠르지만 local minima를 잘 빠져나가지는 못함

 

 

Momentum

 

• SGD+Momentum : momentum 성분을 추가하여 local minima를 탈출할 수 있음
• 단점 : Global minima에서 멈추지 못하고 넘어가 버릴 수 있음

 

 

 

NAG(Nesterov Accelerated Gradient)

 

- Momentum step을 밟고 이동한 위치에서 gradient 계산하여 이동 -> minima에 안정적으로 도달 가능

- 단점 : 모든 Parameter들의 step size가 동일(최적화에 가까워진 값도 있고 먼 값도 있을 테니까)

 

 

Adagrad(Adaptive Gradient)

 

• Gt 는 gradient 값을 받아 얼마나 변해왔는지를 알 수 있고, Gt-1 값을 추가하여 이전 값을 추가
• 얼마나 변해왔는지에 대한 값을 반비례시켜 곱하므로 각 parameter값이 변한 정도에 따라 Learning rate를 조절
• 단점 : Gt의 값이 계속 더해져 가므로 발산할 수 있음 -> Step size가 매우 작아짐

 

 

 

RMSProp

 

• Gt에 γ 값을 추가해서 발산하지 않도록 조절 -> step size 작아지는 것 방지

 

 

 

Adam(Adaptive Momentum Estimation)

• NAG와 RMSprop의 장점을 합침
• β_1=0.9,β_2=0.999 일 때, (1-β_1 )=0.1,(1-β_2 )=0.001 이 되어, m>>v -> 첫 step 너무 커짐