ايش هي الفوائد من استخدام وظيفة تنشيط ReLU على وظيفة سيغمويد الكلاسيكية في الشبكات العصبية؟
واحد. مشكلة اختفاء التدرج: القيمة القصوى لمشتقة الدالة السيغمويد هي 0.25، والتي يمكن أن تؤدي إلى أن التدرجات الكلية تصبح صغيرة جداً أثناء الانتشار الخلفي. على النقيض من ذلك، ReLU لديه تدرج ثابت 1 للمدخلات الايجابية. ثاني. كفاءة الحساب: ReLU يمكن حسابها باستخدام max(0, x) ، أكثر كفاءة من العمليات الأسية في الدالة السيغمويدية. 3. سرعة التقارب: كما تم الإبلاغ عن أن استخدام ReLU كدالة تنشيط في الشبكات العصبية يتقارب أسرع من استخدام الدالة السيغموية.