Additionally, we experimented with enabling trainable biases in LLaMA's layernorms and switching from \(silu\) to \(gelu\) (to more closely resemble GPT2), in a similar way as Figure 5, but found these changes do not affect the model's capacities. We ignore those experiments for clarity.
또한 Figure 5와 유사한 방식으로 LLaMA의 layernorms에 trainable biases를 활성화하고 \(silu\)에서 \(gelu\)로 전환하여 GPT2와 더 유사하게 만들어보았지만, 이러한 변경이 모델의 성능에 영향을 미치지 않는다는 것을 발견했습니다. 명확성을 위해 이러한 실험은 무시합니다.
또한 그림 5와 유사한 방식으로 LLaMA의 레이어노멀에 학습 가능한 바이어스를 활성화하고 \(silu\)에서 \(gelu\)로 전환하여 GPT2와 더 유사하게 만들어보았지만, 이러한 변경이 모델의 성능에 영향을 미치지 않는다는 것을 발견했습니다. 명확성을 위해 이러한 실험은 무시합니다.