إيه فوائد استخدام وظيفة تنشيط ReLU على وظيفة سيغمويد الكلاسيكية في الشبكات العصبية؟
واحد. مشكلة اختفاء التدرج: القيمة القصوى لمشتقة الدالة السيغمويد هي 0.25، واللي ممكن تتسبب في تصبح التدرجات الكلية صغيرة جداً أثناء الانتشار العكسي. على النقيض من كده، ReLU ليه تدريج ثابت 1 للمدخلات الإيجابية. ٢. كفاءة الحساب: ممكن حساب ReLU باستخدام max ((0, x) ، أكتر كفاءة من العمليات الأسية في الدالة السيغمويدية. ٣. سرعة التقارب: كما اتقال إن استخدام ReLU كدالة تنشيط في الشبكات العصبية يتقارب أسرع من استخدام الدالة السيغموية.