**GLaM:** In [84], Du et al. proposed a family of LLMs named GLaM (Generalist Language Model), which use a sparsely activated mixture-of-experts architecture to scale the model capacity while also incurring substantially less training cost compared to dense variants. The largest GLaM has 1.2 trillion parameters, which is approximately 7x larger than GPT-3. It consumes only 1/3 of the energy used to train GPT-3 and requires half of the computation flops for inference, while still achieving better overall zero, one and few-shot performance across 29 NLP tasks. Fig 19 shows the high-level architecture of GLAM.
**GLaM:** Du 등은 [84]에서 희소 활성화된 전문가 혼합 아키텍처를 사용하여 모델 용량을 확장하는 동시에 조밀한 변형에 비해 훨씬 적은 훈련 비용이 드는 GLaM (Generalist Language Model)이라는 LLM 제품군을 제안했습니다. 가장 큰 GLaM은 파라미터가 1조 2,000억 개로 GPT-3보다 약 7배 더 큽니다. GPT-3 훈련에 사용되는 에너지의 1/3만 소비하며 추론에 필요한 계산 flops도 절반으로 줄였지만, 29개의 NLP 작업에서 전체 zero, one 및 few-shot 성능을 개선했습니다. 그림 19는 GLaM의 높은 수준의 아키텍처를 보여줍니다.
**GLaM:** Du 등은 [84]에서 희소 활성화된 전문가 혼합 아키텍처를 사용하여 모델 용량을 확장하는 동시에 조밀한 변형에 비해 훨씬 적은 훈련 비용이 드는 GLaM(일반주의 언어 모델)이라는 LLM 제품군을 제안했습니다. 가장 큰 GLaM은 파라미터가 1조 2,000억 개로 GPT-3보다 약 7배 더 큽니다. GPT-3 훈련에 사용되는 에너지의 1/3만 소비하며 추론에 필요한 계산 플롭도 절반으로 줄였지만, 29개의 NLP 작업에서 전체 제로, 원샷 및 몇 번의 샷 성능을 개선했습니다. 그림 19는 GLAM의 높은 수준의 아키텍처를 보여줍니다.