**Gopher:** In [79], Rae et al. presented an analysis of Transformer-based language model performance across a wide range of model scales -- from models with tens of millions of parameters up to a 280 billion parameter model called Gopher. These models were evaluated on 152 diverse tasks, achieving state-of-the-art performance across the majority. The number of layers, the key/value size, and other hyper-parameters of different model sizes are shown in Fig 16.
**Gopher:** [79]에서 Rae 등은 수천만 개의 파라미터를 가진 모델부터 2,800억 개의 파라미터를 가진 Gopher라는 모델에 이르기까지 광범위한 모델 규모에 걸쳐 Transformer 기반 언어 모델 성능에 대한 분석을 발표했습니다. 이러한 모델은 152개의 다양한 작업에 대해 평가되어 대부분의 작업에서 state-of-the-art 성능을 달성했습니다. 다양한 모델 크기의 레이어 수, key/value 크기 및 기타 hyper-parameters는 그림 16에 나와 있습니다.
**고퍼:** [79]에서 Rae 등은 수천만 개의 파라미터를 가진 모델부터 2,800억 개의 파라미터를 가진 Gopher라는 모델에 이르기까지 광범위한 모델 규모에 걸쳐 Transformer 기반 언어 모델 성능에 대한 분석을 발표했습니다. 이러한 모델은 152개의 다양한 작업에 대해 평가되어 대부분의 작업에서 최첨단 성능을 달성했습니다. 다양한 모델 크기의 레이어 수, 키/값 크기 및 기타 하이퍼 파라미터는 그림 16에 나와 있습니다.