Accordingly,
the first motivation of this paper is to show whether the SCG method for solving nonconvex
optimization problems with deep neural networks, Algorithm 0 below, accelerates powerful
deep-learning optimizers, such as RMSprop, Adagrad, Adam, and AdamW.
Buna göre,
bu makalenin ilk amacı, derin sinir ağlarıyla dışbükey olmayan optimizasyon problemlerini çözmek için kullanılan SCG yönteminin (aşağıdaki Algoritma 0), RMSprop, Adagrad, Adam ve AdamW gibi güçlü derin öğrenme optimizasyon algoritmalarını hızlandırıp hızlandırmadığını göstermektir.