شو فوائد استخدام وظيفة تنشيط ReLU على وظيفة سيغمويد الكلاسيكية في الشبكات العصبية؟
1. مشكلة اختفاء التدرج: القيمة القصوى للمشتقة من الدالة السيغمويد هي 0.25، واللي يمكن أن يؤدي إلى أن التدرجات الكلية تصبح صغيرة جداً أثناء الانتشار العكسي. على النقيض، ReLU عنده تدريج ثابت 1 للمدخلات الإيجابية. 2. كفاءة الحساب: ReLU ممكن يحسب باستخدام max(0, x) ، أكتر كفاءة من العمليات الأسية في الدالة السيغمويدية. 3. سرعة التقارب: كمان اتقال ان استخدام ReLU كدالة تنشيط في الشبكات العصبية يتقارب اسرع من استخدام الدالة السيغموية.