在神經網路中，相對於經典的sigmoid函式，使用ReLU啟用函式的好處有哪些？
1.梯度消失問題：sigmoid函式的導數最大值為0.25，這會導致反向傳播時總梯度變得很小。相比之下，ReLU 對於正輸入具有恆定梯度 1。
2. 計算效率：ReLU可以使用max(0, x)來計算，比sigmoid函式中的指數運算更高效。
3. 收斂速度：也有報導稱，在神經網路中使用ReLU作為啟用函式比使用sigmoid函式收斂得更快。