* For large models, replacing LLaMA architecture's gated MLP with a standard MLP (while keeping \(silu\) unchanged) noticeably improves LLaMA's capacity ratio.17 Footnote 17: As discussed in Appendix B, gated MLP layers are less stable to train, thus requiring more time. * For tiny LLaMA models, switching back to the GPT2Tokenizer is also necessary to match GPT2's performance, though this is a minor issue.18 Footnote 18: This only applies to tiny models and is specific to the biography data we consider here: GPT2Tokenizer may tokenize years such as 1991 into a single token, while LLaMATokenizer will tokenize it into four digit tokens. * Other modifications, such as changing from \(silu\) to \(gelu\) or adding trainable biases to layer-norms, do not noticeably affect the capacity ratios (so we ignore those figures).
* 대형 모델의 경우, LLaMA 아키텍처의 게이트 MLP를 표준 MLP로 대체하고(silu는 변경하지 않음) LLaMA의 용량 비율을 눈에 띄게 향상시킵니다.17 각주 17: 부록 B에서 논의한 바와 같이, 게이트 MLP 레이어는 훈련에 안정성이 떨어지므로 더 많은 시간이 필요합니다. * 작은 LLaMA 모델의 경우, GPT2의 성능과 일치하려면 GPT2Tokenizer로 다시 전환해야 하지만 이는 사소한 문제입니다.18 각주 18: 이는 작은 모델에만 적용되며 여기서 고려하는 전기 데이터에 국한됩니다: GPT2Tokenizer는 1991과 같은 연도를 단일 토큰으로 토큰화하는 반면, LLaMATokenizer는 4자리 토큰으로 토큰화합니다. * 다른 수정, 예를 들어 silu에서 gelu로 변경하거나 layer-norm에 trainable bias를 추가하는 등의 수정은 용량 비율에 눈에 띄는 영향을 미치지 않으므로 해당 수치는 무시합니다.
* 대형 모델의 경우, LLaMA 아키텍처의 게이트 MLP를 표준 MLP로 대체하고(\silu\)는 변경하지 않음) LLaMA의 용량 비율을 눈에 띄게 향상시킵니다.17 각주 17: 부록 B에서 논의한 바와 같이, 게이트 MLP 레이어는 훈련에 안정성이 떨어지므로 더 많은 시간이 필요합니다. * 작은 LLaMA 모델의 경우, GPT2의 성능과 일치하려면 GPT2Tokenizer로 다시 전환해야 하지만 이는 사소한 문제입니다.18 각주 18: 이는 작은 모델에만 적용되며 여기서 고려하는 전기 데이터에 국한됩니다: GPT2Tokenizer는 1991과 같은 연도를 단일 토큰으로 토큰화하는 반면, LLaMATokenizer는 4자리 토큰으로 토큰화합니다. * silu에서 gelu로 변경하거나 레이어 노름에 훈련 가능한 바이어스를 추가하는 등의 다른 수정은 용량 비율에 눈에 띄는 영향을 미치지 않으므로 해당 수치는 무시합니다.