ニューラルネットワークにおいて、古典的なシグモイド関数ではなくReLU活性化関数を使用する利点は何ですか？
1.勾配消失問題：シグモイド関数の微分の最大値は0.25であり、逆伝播の際に勾配の総和が非常に小さくなってしまうことがあるのだ。一方、ReLUは正入力に対して一定の勾配1を持っているのだ。
2.計算の効率化ReLUはmax(0, x)を用いて計算することができ、シグモイド関数の指数演算よりも効率的なのだ。
3.収束速度：ニューラルネットワークの活性化関数としてReLUを使用した場合、シグモイド関数を使用した場合よりも収束速度が速いことも報告されているのだ。