ما هي فوائد استخدام وظيفة تنشيط ReLU على وظيفة سيغمويد الكلاسيكية في الشبكات العصبية؟
1. مشكلة اختفاء التدرج: القيمة القصوى للمشتقة من الدالة السيغمويد هي 0.25، والتي يمكن أن تؤدي إلى أن تصبح التدرجات الإجمالية صغيرة جدًا أثناء الانتشار الخلفي. وعلى النقيض من ذلك، يحتوي ReLU على تدرج ثابت 1 للمدخلات الإيجابية. 2. كفاءة الحساب: يمكن حساب ReLU باستخدام max ((0, x) ، أكثر كفاءة من العمليات الأسية في الدالة السيغمويدية. 3. سرعة التقارب: تم الإبلاغ أيضًا عن استخدام ReLU كدالة التنشيط في الشبكات العصبية تقارب أسرع من استخدام الدالة السيغموية.