머신 러닝 또는 딥 러닝 에서 는 손실 함수 를 최소 화 하 기 위하 여 학습 최적화 알고리즘 을 이용 할 수 있 으며 , 학습 최적화 알고리즘 에 는 경사 하강법 ( GD : Gradient Descent ) , 확률 적 경사 하강법 ( SGD : Stochastic Gradient Descent ) , 모 멘 텀 ( Momentum ) , NAG ( Nesterov Accelerate Gradient ) , Adagrad , AdaDelta , RMSProp , Adam , Nadam 등 이 있 다 .