GPT-2 [51] shows that language models are able to learn to perform specific natural language tasks without any explicit supervision when trained on a large WebText dataset consisting of millions of webpages. The GPT-2 model follows the model designs of GPT-1 with a few modifications: Layer normalization is moved to the input of each sub-block, additional layer normalization is added after the final self-attention block, initialization is modified to account for the accumulation on the residual path and scaling the weights of residual layers, vocabulary size is expanded to 50,25, and context size is increased from 512 to 1024 tokens.
GPT-2 [51]는 수백만 개의 웹 페이지로 구성된 대규모 WebText 데이터 세트에 대해 학습할 때 언어 모델이 명시적인 감독 없이 특정 자연어 작업을 수행하는 방법을 학습할 수 있음을 보여줍니다. GPT-2 모델은 GPT-1의 모델 설계를 몇 가지 수정하여 따릅니다: Layer normalization은 각 sub-block의 입력으로 이동하고, 최종 self-attention block 뒤에 추가 Layer normalization이 추가되며, 초기화는 잔차 경로에 대한 누적을 고려하고 잔차 레이어의 가중치를 조정하도록 수정되며, 어휘 크기는 50,25로 확장되고 context 크기는 512에서 1024 tokens으로 증가합니다.
GPT-2 [51]는 수백만 개의 웹 페이지로 구성된 대규모 웹텍스트 데이터 세트에 대해 학습할 때 언어 모델이 명시적인 감독 없이 특정 자연어 작업을 수행하는 방법을 학습할 수 있음을 보여줍니다. GPT-2 모델은 GPT-1의 모델 설계를 몇 가지 수정하여 따릅니다: 레이어 정규화는 각 하위 블록의 입력으로 이동하고, 최종 자가 주의 블록 뒤에 추가 레이어 정규화가 추가되며, 초기화는 잔차 경로에 대한 누적을 고려하고 잔차 레이어의 가중치를 조정하도록 수정되며, 어휘 크기는 50,25로 확장되고 문맥 크기는 512에서 1024 토큰으로 증가합니다.