\(\bullet\)_GPT-1_. In 2017, the Transformer model [22] was introduced by Google, and the OpenAI team quickly adapted their language modeling work to this new neural network architecture. They released the first GPT model in 2018, _i.e._, GPT-1 [122], and coined the abbreviation term _GPT_ as the model name, standing for _Generative Pre-Training_. GPT-1 was developed based on a generative, decoder-only Transformer architecture, and adopted a hybrid approach of unsupervised pretraining and supervised fine-tuning. GPT-1 has set up the core architecture for the GPT-series models and established the underlying principle to model natural language text, _i.e._, predicting the next word.
\(\bullet\)_GPT-1_. 2017년에 Google에서 Transformer 모델[22]을 소개했고, OpenAI 팀은 이 새로운 신경망 아키텍처에 언어 모델링 작업을 빠르게 적용했습니다. 2018년에 첫 번째 GPT 모델, 즉 GPT-1[122]을 출시했으며, 생성적 사전 학습의 약자인 _GPT_라는 약어를 모델 이름으로 사용했습니다. GPT-1은 생성적, decoder-only Transformer 아키텍처를 기반으로 개발되었으며, 비지도 사전 학습과 supervised Fine-tuning의 하이브리드 접근 방식을 채택했습니다. GPT-1은 GPT 시리즈 모델의 핵심 아키텍처를 구축하고 자연어 텍스트를 모델링하는 기본 원리, 즉 다음 단어 예측을 확립했습니다.
\(\bullet\)_GPT-1_. 2017년에 Google에서 트랜스포머 모델[22]을 소개했고, OpenAI 팀은 이 새로운 신경망 아키텍처에 언어 모델링 작업을 빠르게 적용했습니다. 2018년에 첫 번째 GPT 모델, 즉 GPT-1[122]을 출시했으며, 생성적 사전 학습의 약자인 _GPT_라는 약어를 모델 이름으로 사용했습니다. GPT-1은 생성적 디코더 전용 트랜스포머 아키텍처를 기반으로 개발되었으며, 비지도 사전 학습과 지도 미세 조정의 하이브리드 접근 방식을 채택했습니다. GPT-1은 GPT 시리즈 모델의 핵심 아키텍처를 구축하고 자연어 텍스트를 모델링하는 기본 원리, 즉 다음 단어 예측을 확립했습니다.