Our approach to pretraining is to train a standard dense transformer architecture on a heavily engineered large pretraining corpora, where our underlying assumption is that when trained on extensive data of high-enough quality, a standard architecture can exhibit advanced capability. This is to say, we may not need much architectural modification, although we have indeed conducted extensive preliminary architectural experiments. In the following subsections, we first detail our data engineering pipeline, then briefly discuss the model architecture.
사전 학습에 대한 우리의 접근 방식은 표준 밀도 Transformer 아키텍처를 고도로 엔지니어링된 대규모 사전 학습 코퍼라에 대해 학습하는 것인데, 이 경우 고품질의 광범위한 데이터에 대해 학습하면 표준 아키텍처가 고급 기능을 나타낼 수 있다는 것이 기본 가정입니다. 즉, 광범위한 예비 설계 실험을 수행했지만 설계를 크게 수정할 필요가 없을 수도 있습니다. 다음 하위 섹션에서는 먼저 데이터 엔지니어링 파이프라인에 대해 자세히 설명한 다음 모델 아키텍처에 대해 간략하게 설명합니다.
사전 학습에 대한 우리의 접근 방식은 표준 밀도 트랜스포머 아키텍처를 고도로 엔지니어링된 대규모 사전 학습 코퍼라에 대해 학습하는 것인데, 이 경우 고품질의 광범위한 데이터에 대해 학습하면 표준 아키텍처가 고급 기능을 나타낼 수 있다는 것이 기본 가정입니다. 즉, 광범위한 예비 설계 실험을 수행했지만 설계를 크게 수정할 필요가 없을 수도 있습니다. 다음 하위 섹션에서는 먼저 데이터 엔지니어링 파이프라인에 대해 자세히 설명한 다음 모델 아키텍처에 대해 간략하게 설명합니다.