To investigate _why_ the LLaMA architecture is inferior to GPT2 in the 100-exposure (insufficiently trained) setting, we closely examine LLaMA by gradually modifying its architecture _back towards_ GPT2 to identify the key architectural changes. We start by tying weights, as this enhances tiny LLaMA model's capacity in the 1000-exposure setting (Result 5).
LLaMA 아키텍처가 100회 노출(충분히 훈련되지 않은) 설정에서 GPT2보다 열등한 이유를 조사하기 위해, 우리는 LLaMA의 아키텍처를 점진적으로 GPT2로 되돌려 주요 아키텍처 변경 사항을 식별하는 방법으로 LLaMA를 면밀히 조사합니다. 우리는 가중치를 묶는 것부터 시작하는데, 이는 1000회 노출 설정에서 작은 LLaMA 모델의 용량을 향상시킵니다(결과 5).
100회 노출(충분히 학습되지 않은) 설정에서 LLaMA 아키텍처가 GPT2보다 열등한 _이유_를 조사하기 위해, 주요 아키텍처 변경 사항을 식별하기 위해 LLaMA의 아키텍처를 GPT2로 점진적으로 수정하여 면밀히 조사합니다. 먼저 가중치를 연결하는 것으로 시작하는데, 이는 1000회 노출 설정에서 작은 LLaMA 모델의 용량을 향상시키기 때문입니다(결과 5).