Adagrad , AdaDelta 및 RMSProp 는 SGD 에서 스텝 사이즈 를 조절 하 여 최적화 정확도 를 높이 는 기법 이 다 . SGD 에서 모 멘 텀 및 NAG 는 스텝 방향 을 조절 하 여 최적화 정확도 를 높이 는 기법 이 다 . Adam 은 모 멘 텀 과 RMSProp 를 조합 하 여 스텝 사이즈 와 스텝 방향 을 조절 하 여 최적화 정확도 를 높이 는 기법 이 다 . Nadam 은 NAG 와 RMSProp 를 조합 하 여 스텝 사이즈 와 스텝 방향 을 조절 하 여 최적화 정확도 를 높이 는 기법 이 다 .