Should we use momentum method in full batch gradient descent?
Why are optimization techniques like natural gradient and second order methods (L-BFGS for eg.) not much used in deep learning?
האם עלינו להשתמש בשיטת המומנטום בהורדת שיפוע מלא באצווה?
מדוע טכניקות אופטימיזציה כמו שיפוע טבעי ושיטות מסדר שני (L-BFGS למשל) אינן בשימוש רב בלמידה עמוקה?