GPT2 was introduced in [26]. Due to its limitations from the absolute positional embedding [2], we adopt its modern variant, _rotary positional embedding_[7, 31], which we still refer to as GPT2 for convenience. Additionally, we disable dropout, which has been shown to improve performance in language models [33]. We explore a wide range of model sizes while using a fixed dimension-per-head of 64. The notation GPT2-\(\ell\)-\(h\) represents \(\ell\) layers, \(h\) heads, and \(64h\) dimensions; for example, GPT2-small corresponds to GPT2-12-12. The default GPT2Tokenizer is used, converting people's names and most attributes into tokens of variable lengths. In examining the impact of model architectures on scaling laws in Section 7, we will also use LLaMA/Mistral architectures [19, 32].
GPT2는 [26]에서 소개되었습니다. 절대 positional embedding[2]의 한계로 인해 최신 변형인 _rotary positional embedding_[7, 31]을 채택했으며, 여전히 편의상 GPT2라고 부릅니다. 또한 언어 모델[33]에서 성능을 향상시키는 것으로 나타난 dropout을 비활성화합니다. 고정된 헤드당 차원 64를 사용하면서 다양한 모델 크기를 탐색합니다. GPT2-\(\ell\)-\(h\)라는 표기법은 \(\ell\) 레이어, \(h\) 헤드, \(64h\) 차원을 나타내며, 예를 들어 GPT2-small은 GPT2-12-12에 해당합니다. 기본 GPT2Tokenizer는 사람의 이름과 대부분의 속성을 가변 길이의 토큰으로 변환하는 데 사용됩니다. 섹션 7에서 모델 아키텍처가 scaling laws에 미치는 영향을 조사할 때 LLaMA/Mistral 아키텍처 [19, 32]도 사용할 것입니다.
GPT2는 [26]에서 소개되었습니다. 절대 위치 임베딩[2]의 한계로 인해 최신 변형인 _회전 위치 임베딩_[7, 31]을 채택했으며, 여전히 편의상 GPT2라고 부릅니다. 또한 언어 모델[33]에서 성능을 향상시키는 것으로 나타난 드롭아웃을 비활성화합니다. 고정된 헤드당 차원 64를 사용하면서 다양한 모델 크기를 탐색합니다. GPT2-\(\ell\)-\(h\)라는 표기법은 \(\ell\) 레이어, \(h\) 헤드, \(64h\) 차원을 나타내며, 예를 들어 GPT2-small은 GPT2-12-12에 해당합니다. 기본 GPT2Tokenizer는 사람의 이름과 대부분의 속성을 가변 길이의 토큰으로 변환하는 데 사용됩니다. 섹션 7에서 모델 아키텍처가 스케일링 법칙에 미치는 영향을 조사할 때 LLaMA/Mistral 아키텍처 [19, 32]도 사용할 것입니다.