bilingual (English and Chinese) pre-trained language model with 130 billion parameters. It was an attempt to open-source a 100B-scale model at least as good as GPT-3 (davinci) and unveil how models of such a scale can be successfully pre-trained.
130 billion 개의 파라미터를 가진 이중 언어(영어 및 중국어) pre-trained language model입니다. GPT-3(davinci)만큼의 100B 규모의 모델을 오픈 소스화하고 이러한 규모의 모델을 어떻게 성공적으로 pre-train할 수 있는지 공개하려는 시도였습니다.
1300억 개의 파라미터를 가진 이중 언어(영어 및 중국어) 사전 학습 언어 모델입니다. GPT-3(다빈치)만큼의 100B 규모의 모델을 오픈 소스화하고 이러한 규모의 모델을 어떻게 성공적으로 사전 학습시킬 수 있는지 공개하려는 시도였습니다.