To put all these discussions together, we summarize the suggestions from existing literature for detailed configuration. For stronger generalization and training stability, it is suggested to choose the pre RMSNorm for layer normalization, and SwiGLU or GeGLU as the activation function. In addition, LN may not be used immediately after embedding layers, which is likely to incur performance degradation. As for position embeddings, RoPE or ALBi is a better choice since it performs better on long sequences.
이러한 모든 논의를 종합하기 위해 세부 구성에 대한 기존 문헌의 제안을 요약합니다. 더 강력한 일반화와 훈련 안정성을 위해 레이어 정규화에 대해서는 pre RMSNorm을 선택하고 활성화 함수로는 SwiGLU 또는 GeGLU를 선택하는 것이 좋습니다. 또한 embedding 레이어 바로 뒤에 LN을 사용하면 성능이 저하될 수 있으므로 사용하지 않는 것이 좋습니다. 위치 embedding의 경우, 긴 시퀀스에서 더 나은 성능을 발휘하므로 RoPE 또는 ALBi가 더 나은 선택입니다.
이러한 모든 논의를 종합하기 위해 세부 구성에 대한 기존 문헌의 제안을 요약합니다. 더 강력한 일반화와 훈련 안정성을 위해 레이어 정규화에 대해서는 사전 RMSNorm을 선택하고 활성화 함수로는 SwiGLU 또는 GeGLU를 선택하는 것이 좋습니다. 또한 임베딩 레이어 바로 뒤에 LN을 사용하면 성능이 저하될 수 있으므로 사용하지 않는 것이 좋습니다. 위치 임베딩의 경우, 긴 시퀀스에서 더 나은 성능을 발휘하므로 RoPE 또는 ALBi가 더 나은 선택입니다.