شنو فوائد استخدام وظيفة تنشيط ReLU على وظيفة سيغمويد الكلاسيكية في الشبكات العصبية؟
واحد. مشكلة اختفاء التدرج: القيمة القصوى لمشتقة الدالة السيغمويد هي 0.25، والتي يمكن أن تؤدي إلى أن التدرجات الإجمالية تصبح صغيرة جدًا أثناء الانتشار الخلفي. على النقيض من ذلك، ReLU لديه تدرج ثابت 1 للمدخلات الإيجابية. ثاني. كفاءة الحساب: يمكن حساب ReLU باستخدام max ((0) ، x) ، أكثر كفاءة من العمليات الأسية في الدالة السيغموية. ثلاثة. سرعة التقارب: كما تم الإبلاغ عن استخدام ReLU كدالة تنشيط في الشبكات العصبية تقارب أسرع من استخدام الدالة السيغموية.