Generative Pre-trained Transformers (GPT) are a family of decoder-only Transformer-based language models, developed by OpenAI. This family consists of GPT-1, GPT-2, GPT-3, InstrucGPT, ChatGPT, GPT-4, CODEX, and WebGPT. Although early GPT models, such as GPT-1 and GPT-2, are open-source, recent models, such as GPT-3 and GPT-4, are close-source and can only be accessed via APIs. GPT-1 and GPT-2 models have been discussed in the early PLM subsection. We start with GPT-3 below.
Generative Pre-trained Transformers (GPT)는 OpenAI에서 개발한 decoder-only Transformer 기반 언어 모델의 일군입니다. 이 제품군에는 GPT-1, GPT-2, GPT-3, InstrucGPT, ChatGPT, GPT-4, CODEX 및 WebGPT가 포함됩니다. GPT-1 및 GPT-2와 같은 초기 GPT 모델은 오픈 소스이지만, GPT-3 및 GPT-4와 같은 최신 모델은 비공개이며 API를 통해서만 액세스할 수 있습니다. GPT-1 및 GPT-2 모델은 초기 PLM 하위 섹션에서 설명했습니다. 아래에서 GPT-3부터 시작하겠습니다.
제너레이티브 사전 학습 트랜스포머(GPT)는 OpenAI에서 개발한 디코더 전용 트랜스포머 기반 언어 모델의 일군입니다. 이 제품군에는 GPT-1, GPT-2, GPT-3, InstrucGPT, ChatGPT, GPT-4, CODEX 및 WebGPT가 포함됩니다. GPT-1 및 GPT-2와 같은 초기 GPT 모델은 오픈 소스이지만, GPT-3 및 GPT-4와 같은 최신 모델은 비공개이며 API를 통해서만 액세스할 수 있습니다. GPT-1 및 GPT-2 모델은 초기 PLM 하위 섹션에서 설명했습니다. 아래에서 GPT-3부터 시작하겠습니다.