شو الفوائد من استخدام وظيفة تنشيط ReLU على وظيفة سيغمويد الكلاسيكية في الشبكات العصبية؟
1. مشكلة إختفاء التدرج: القيمة القصوى لمشتقة الوظيفة السيغمويد هيي 0.25، واللي ممكن يتسبب في إن التدرجات الكلية بتكون صغيرة كتير أثناء التكاثر العكسي. بالمقارنة، ReLU عنده تدريج ثابت 1 للمدخلات الإيجابية. 2. كفاءة الحساب: ReLU ممكن يحسب باستخدام max ((0, x) ، أكتر كفاءة من العمليات الأسية في الدالة السيغمويدية. 3. سرعة التقارب: من المعلن كمان إن استخدام ReLU كدالة تنشيط في الشبكات العصبية بتقارب أسرع من استخدام الدالة السيغموية.