To delve into this, we examine GPT2\({}_{1/4}\), which is GPT2 with its MLP layer reduced from \(d\to 4d\to d\) to \(d\to d\to d\) (thus, \(1/4\) of its original size), and GPT2\({}_{0}\), which is GPT2 but without any MLP layer.
이를 자세히 살펴보기 위해, 우리는 GPT2\({}_{1/4}\)와 GPT2\({}_{0}\)를 검토합니다. GPT2\({}_{1/4}\)는 MLP 레이어가 \(d\to 4d\to d\)에서 \(d\to d\to d\)로 축소된 GPT2 (즉, 원래 크기의 \(1/4\))이며, GPT2\({}_{0}\)는 MLP 레이어가 전혀 없는 GPT2입니다.
이를 탐구하기 위해 MLP 레이어가 \(d\to 4d\to d\)에서 \(d\to d\to d\)로 축소된 GPT2\({}_{1/4}\)(따라서 원래 크기의 \(1/4\))와 MLP 레이어가 없는 GPT2\({}_{0}\), 즉 GPT2를 살펴본다.