\(\bullet\)_Scaling_. As discussed in previous parts, there exists an evident scaling effect in Transformer language models: larger model/data sizes and more training compute typically lead to an improved model capacity [30, 34]. As two representative models, GPT-3 and PaLM explored the scaling limits by increasing the model size to 175B and 540B, respectively. Since compute budget is usually limited, scaling laws can be further employed to conduct a more compute-efficient allocation of the compute resources. For example, Chinchilla (with more training tokens) outperforms its counterpart model Gopher (with a larger model size) by increasing the data scale with the same compute budget [34]. In addition, data scaling should be with careful cleaning process, since the quality of pre-training data plays a key role in the model capacity.
\(\bullet\)_Scaling_. 이전 부분에서 설명한 바와 같이, Transformer 언어 모델에는 일반적으로 더 큰 모델/데이터 크기와 더 많은 훈련 컴퓨팅이 모델 용량 향상으로 이어지는 뚜렷한 scaling 효과가 존재합니다[30, 34]. 대표적인 두 가지 모델로서 GPT-3와 PaLM은 각각 모델 크기를 175B와 540B로 늘려 scaling 한계를 탐구했습니다. 일반적으로 compute 예산이 제한되어 있기 때문에 scaling laws를 사용하여 compute 리소스를 보다 효율적으로 할당할 수 있습니다. 예를 들어, Chinchilla는 동일한 compute 예산으로 데이터 규모를 늘려서 더 많은 훈련 토큰을 가진 모델인 Gopher보다 성능이 뛰어납니다[34]. 또한, 사전 학습 데이터의 품질이 모델 용량에 중요한 역할을 하므로 데이터 scaling은 신중한 정리 과정을 거쳐야 합니다.
\(\bullet\)_스케일링_. 이전 부분에서 설명한 바와 같이, 트랜스포머 언어 모델에는 일반적으로 더 큰 모델/데이터 크기와 더 많은 훈련 컴퓨팅이 모델 용량 향상으로 이어지는 뚜렷한 스케일링 효과가 존재합니다[30, 34]. 대표적인 두 가지 모델로서 GPT-3와 PaLM은 각각 모델 크기를 175B와 540B로 늘려 스케일링 한계를 탐구했습니다. 일반적으로 컴퓨팅 예산이 제한되어 있기 때문에 스케일링 법칙을 사용하여 컴퓨팅 리소스를 보다 효율적으로 할당할 수 있습니다. 예를 들어, 침친칠라는 동일한 컴퓨팅 예산으로 데이터 규모를 늘려서 더 많은 훈련 토큰을 가진 모델인 고퍼보다 성능이 뛰어납니다[34]. 또한, 사전 학습 데이터의 품질이 모델 용량에 중요한 역할을 하므로 데이터 스케일링은 신중한 정리 과정을 거쳐야 합니다.