Ni faida gani za kutumia kazi ya uanzishaji wa ReLU juu ya kazi ya kawaida ya sigmoid katika mitandao ya neva?
1. Kufanya kazi Gradient kutoweka tatizo: thamani max ya derivative ya kazi sigmoid ni 0.25, ambayo inaweza kusababisha gradients jumla kuwa ndogo sana wakati wa nyuma kuenea. Kwa kulinganisha ReLU ina gradient mara kwa mara 1 kwa ajili ya pembejeo chanya. 2. Kufanya kazi. Mahesabu ufanisi: ReLU inaweza kuhesabiwa kwa kutumia max ((0, x), ufanisi zaidi kuliko shughuli exponential katika kazi sigmoid. 3. Kufanya kazi. Convergence kasi: ni pia taarifa kwamba kwa kutumia ReLU kama kazi uanzishaji katika mitandao ya neva converges kwa kasi zaidi kuliko kutumia kazi sigmoid.