**Activation Functions.** To obtain good performance, activation functions also need to be properly set in feed-forward networks. In existing LLMs, GeLU activations [270] are widely used. Specially, in the latest LLMs (_e.g._, PaLM and LaMDA), variants of GLU activation [262, 271] have also been utilized, especially the SwiGLU and GeGLU variants, which often achieve better performance in practice [266]. However, compared with GeLU, they require extra parameters (about 50%) in the feed-forward networks [272].
**Activation Functions.** 우수한 성능을 얻으려면 feed-forward networks에서도 activation functions을 적절히 설정해야 합니다. 기존 LLMs에서는 GeLU activations[270]가 널리 사용되고 있습니다. 특히 최신 LLMs(예: PaLM 및 LaMDA)에서는 GLU activation[262, 271]의 변형, 특히 실제로 더 나은 성능을 달성하는 SwiGLU 및 GeGLU 변형[266]이 활용되고 있습니다. 그러나 GeLU에 비해 feed-forward networks에서 추가 파라미터(약 50%)가 필요합니다[272].
**활성화 기능.** 우수한 성능을 얻으려면 피드포워드 네트워크에서도 활성화 기능을 적절히 설정해야 합니다. 기존 LLM에서는 GeLU 활성화[270]가 널리 사용되고 있습니다. 특히 최신 LLM(예: PaLM 및 LaMDA)에서는 GLU 활성화[262, 271]의 변형, 특히 실제로 더 나은 성능을 달성하는 SwiGLU 및 GeGLU 변형[266]이 활용되고 있습니다. 그러나 GeLU에 비해 피드포워드 네트워크에서 추가 파라미터(약 50%)가 필요합니다[272].