We have selected a broad range of GPT2-\(\ell\)-\(h\) models with practical \(\ell\) and \(h\) values, excluding those with similar model sizes. Their selection is detailed in Figure 1, encompassing both wide and shallow transformers (e.g., GPT2-2-20, GPT2-3-20, GPT2-4-20) and skinny and deep transformers (e.g., GPT2-16-4, GPT2-16-8, GPT2-28-20). For reference, GPT2 small/med/large correspond to GPT2-12-12, GPT2-24-16, GPT2-36-20, respectively.
우리는 유사한 모델 크기를 제외하고 실용적인 \(\ell\) 및 \(h\) 값을 가진 광범위한 GPT2-\(\ell\)-\(h\) 모델을 선택했습니다. 그들의 선택은 그림 1에 자세히 나와 있으며, 넓고 얕은 Transformers(예: GPT2-2-20, GPT2-3-20, GPT2-4-20)와 스키니 및 딥 Transformers(예: GPT2-16-4, GPT2-16-8, GPT2-28-20)를 모두 포함합니다. 참고로 GPT2 소형/중형/대형은 각각 GPT2-12-12, GPT2-24-16, GPT2-36-20에 해당합니다.
우리는 유사한 모델 크기를 제외하고 실용적인 \(\ell\) 및 \(h\) 값을 가진 광범위한 GPT2-\(\ell\)-\(h\) 모델을 선택했습니다. 그들의 선택은 그림 1에 자세히 나와 있으며, 넓고 얕은 트랜스포머(예: GPT2-2-20, GPT2-3-20, GPT2-4-20)와 스키니 및 딥 트랜스포머(예: GPT2-16-4, GPT2-16-8, GPT2-28-20)를 모두 포함합니다. 참고로 GPT2 소형/중형/대형은 각각 GPT2-12-12, GPT2-24-16, GPT2-36-20에 해당합니다.