شنو الفوائد من استخدام وظيفة تنشيط ReLU على وظيفة سيغمويد الكلاسيكية في الشبكات العصبية؟
واحد. مشكلة اختفاء التدرج: القيمة القصوى لمشتقة الدالة السيغمويد هي 0.25، والتي يمكن ان تؤدي الى ان يصبح التدرج الكلي صغير جدا خلال الانتشار العكسي. بالعكس ReLU عنده تدريج ثابت 1 للمدخلات الايجابية. اثنين. كفاءة الحساب: ReLU يمكن حسابها باستخدام max(0, x) ، اكتر كفاءة من العمليات الأسية في الدالة السيغمويدية. ثالثاً. سرعة التقارب: يذكر ايضا ان استخدام ReLU كدالة تنشيط في الشبكات العصبية يتقارب اسرع من استخدام الدالة السيغموية.