Quais são os benefícios de usar a função de ativação ReLU sobre a função sigmoide clássica em redes neurais?
1. problema de desaparecimento de gradiente: O valor máximo da derivada da função sigmoide é 0,25, o que pode resultar em gradientes totais se tornando muito pequenos durante a propagação de volta. Em contraste, ReLU tem um gradiente constante de 1 para entradas positivas. 2. eficiência de computação: ReLU pode ser calculado usando max ((0, x), mais eficiente do que operações exponenciais em função sigmoide. 3. velocidade de convergência: também é relatado que usar ReLU como função de ativação em redes neurais converge mais rápido do que usar função sigmoide.