\(\bullet\)_GPT-2_. Following a similar architecture of GPT-1, GPT-2 [26] increased the parameter scale to 1.5B, which was trained with a large webpage dataset WebText. As claimed in the paper of GPT-2, it sought to perform tasks via unsupervised language modeling, without explicit fine-tuning using labeled data. To motivate the approach, they introduced a probabilistic form for multi-task solving, _i.e._, \(p(output|input,task)\) (similar approaches have been adopted in [123]), which predicts the output conditioned on the input and task information. To model this conditional probability, language text can be naturally employed as a unified way to format input, output and task information. In this way, the process of solving a task can be cast as a word prediction problem for generating the solution text. Further, they introduced a more formal claim for this idea: "Since the (task-specific) supervised objective is the same as the unsupervised (language modeling) objective but only evaluated on a subset of the sequence, the global minimum of the unsupervised objective is also the global minimum of the supervised objective (for various tasks)" [26]15. A basic understanding of this claim is that each (NLP) task can be considered as the word prediction problem based on a subset of the world text. Thus, unsupervised language modeling could be capable in solving various tasks, if it was trained to have sufficient capacity in recovering the world text. These early discussion in GPT-2's paper echoed in the interview of Ilya Sutskever by Jensen Huang: "What the neural network learns is some representation of the process that produced the text. This text is actually a projection of the world...the more accurate you are in predicting the next word, the higher the fidelity, the more resolution you get in this process..."16.
\(\bullet\)_GPT-2_. GPT-1의 유사한 아키텍처를 따르는 GPT-2 [26]는 파라미터 규모를 1.5B로 늘렸으며, 이는 대규모 웹페이지 데이터 세트 WebText로 학습되었습니다. GPT-2의 논문에서 주장했듯이, 라벨이 지정된 데이터를 사용한 명시적인 Fine-tuning 없이 비지도 언어 모델링을 통해 작업을 수행하고자 했습니다. 이 접근 방식을 동기를 부여하기 위해 다중 작업 해결을 위한 확률적 형태, 즉 \(p(output|input,task)\)[123]을 도입했는데, 이는 입력과 작업 정보에 따라 출력을 예측하는 방식입니다. 이 조건부 확률을 모델링하기 위해 언어 텍스트는 입력, 출력 및 작업 정보의 형식을 지정하는 통합 방식으로 자연스럽게 사용될 수 있습니다. 이러한 방식으로 작업을 해결하는 프로세스는 솔루션 텍스트를 생성하기 위한 단어 예측 문제로 간주할 수 있습니다. 또한 이 아이디어에 대한 보다 공식적인 주장을 소개했습니다: "(작업별) 지도 학습 목표는 비지도 학습(언어 모델링) 목표와 동일하지만 시퀀스의 하위 집합에서만 평가되므로 비지도 학습 목표의 전역 최소값은 (다양한 작업에 대해) 지도 학습 목표의 전역 최소값이기도 합니다." [26]15. 이 주장의 기본적인 이해는 각 (NLP) 작업을 세계 텍스트의 하위 집합을 기반으로 한 단어 예측 문제로 간주할 수 있다는 것입니다. 따라서 언어 모델링을 비지도로 하면 세계 텍스트를 복구하는 데 충분한 용량을 갖추도록 학습했다면 다양한 작업을 해결할 수 있습니다. GPT-2 논문의 이러한 초기 논의는 젠슨 황이 일리야 수츠케버와의 인터뷰에서 "신경망이 학습하는 것은 텍스트를 생성한 과정의 일부 표현입니다. 이 텍스트는 실제로 세상의 투영입니다...다음 단어를 예측하는 데 더 정확할수록 충실도가 높아지고 이 과정에서 더 높은 해상도를 얻게 됩니다..."16.
\(\bullet\)_GPT-2_. GPT-1의 유사한 아키텍처를 따르는 GPT-2 [26]는 파라미터 규모를 1.5B로 늘렸으며, 이는 대규모 웹페이지 데이터 세트 WebText로 학습되었습니다. GPT-2의 논문에서 주장했듯이, 라벨이 지정된 데이터를 사용한 명시적인 미세 조정 없이 비지도 언어 모델링을 통해 작업을 수행하고자 했습니다. 이 접근 방식을 동기를 부여하기 위해 다중 작업 해결을 위한 확률적 형태, 즉 \(p(출력|입력, 작업)\)[123]을 도입했는데, 이는 입력과 작업 정보에 따라 출력을 예측하는 방식입니다. 이 조건부 확률을 모델링하기 위해 언어 텍스트는 입력, 출력 및 작업 정보의 형식을 지정하는 통합 방식으로 자연스럽게 사용될 수 있습니다. 이러한 방식으로 작업을 해결하는 프로세스는 솔루션 텍스트를 생성하기 위한 단어 예측 문제로 간주할 수 있습니다. 또한 이 아이디어에 대한 보다 공식적인 주장을 소개했습니다: "(작업별) 지도 학습 목표는 비지도 학습(언어 모델링) 목표와 동일하지만 시퀀스의 하위 집합에서만 평가되므로 비지도 학습 목표의 전역 최소값은 (다양한 작업에 대해) 지도 학습 목표의 전역 최소값이기도 합니다." [26]15. 이 주장의 기본적인 이해는 각 (NLP) 작업을 세계 텍스트의 하위 집합을 기반으로 한 단어 예측 문제로 간주할 수 있다는 것입니다. 따라서 언어 모델링을 비지도로 하면 세계 텍스트를 복구하는 데 충분한 용량을 갖추도록 학습했다면 다양한 작업을 해결할 수 있습니다. GPT-2 논문의 이러한 초기 논의는 젠슨 황이 일리야 수츠케버와의 인터뷰에서 "신경망이 학습하는 것은 텍스트를 생성한 과정의 일부 표현입니다. 이 텍스트는 실제로 세상의 투영입니다...다음 단어를 예측하는 데 더 정확할수록 충실도가 높아지고 이 과정에서 더 높은 해상도를 얻게 됩니다..."16.