We delve into the reasons behind this. By adjusting LLaMA's architecture (e.g., switching GatedMLP back to normal MLP), as shown in Figure 5, we find that replacing LLaMA's GatedMLP with a standard MLP is necessary to match GPT2's scaling law. Notably, for a strong comparison, when using GatedMLP we select the best result from three learning rates, whereas for a standard MLP, akin to GPT2, we use a single learning rate.
그 이유를 자세히 살펴봅니다. 그림 5와 같이 LLaMA의 아키텍처(예: GatedMLP를 일반 MLP로 전환)를 조정한 결과, GPT2의 scaling law와 일치하려면 LLaMA의 GatedMLP를 표준 MLP로 대체해야 한다는 사실을 발견했습니다. 특히, 강력한 비교를 위해 GatedMLP를 사용할 경우 세 가지 learning rates 중 가장 좋은 결과를 선택하는 반면, GPT2와 유사한 표준 MLP의 경우 단일 learning rate를 사용합니다.
그 이유를 자세히 살펴봅니다. 그림 5와 같이 LLaMA의 아키텍처(예: 게이트드MLP를 일반 MLP로 전환)를 조정한 결과, GPT2의 스케일링 법칙과 일치하려면 LLaMA의 게이트드MLP를 표준 MLP로 대체해야 한다는 사실을 발견했습니다. 특히, 강력한 비교를 위해 게이트드MLP를 사용할 경우 세 가지 학습 속도 중 가장 좋은 결과를 선택하는 반면, GPT2와 유사한 표준 MLP의 경우 단일 학습 속도를 사용합니다.