شنيا فوائد استخدام وظيفة تنشيط ReLU على وظيفة سيغمويد الكلاسيكية في الشبكات العصبية؟
1. المشكلة متلازمة اختفاء التدرج: القيمة القصوى للمشتقة من الوظيفة السيغمويد هي 0.25، واللي ممكن يسبب التدرج الكلي يصير صغير جدا أثناء التكاثر العكسي. بالعكس، ReLU عندو تدرج ثابت 1 للمدخلات الإيجابية. ثنين. الكفاءة الحسابية: ReLU يمكن يحسب باستخدام max ((0, x) ، أكثر كفاءة من العمليات الأسية في الدالة السيغمويدية. ثالثا. سرعة التقارب: تقرير كمان إن استخدام ReLU كدالة تنشيط في الشبكات العصبية يقارب أسرع من استخدام الدالة السيغموية.