\(\bullet\) Scaling law has been widely observed in causal decoders. By scaling the model size, the dataset size, and the total computation, the performance of causal decoders can be substantially improved [55, 30]. Thus, it has become an important strategy to increase the model capacity of the causal decoder via scaling. However, more detailed investigation on encoder-decoder models is still lacking, and more efforts are needed to investigate the performance of encoder-decoder models at a large scale.
\(\bullet\) Scaling law는 causal decoders에서 널리 관찰되었습니다. 모델 크기, 데이터 세트 크기, 총 계산을 확장함으로써 causal decoders의 성능을 크게 향상시킬 수 있습니다[55, 30]. 따라서 scaling을 통해 causal decoder의 모델 용량을 늘리는 것이 중요한 전략이 되었습니다. 그러나 encoder-decoder 모델에 대한 보다 자세한 조사는 아직 부족하며, 대규모 encoder-decoder 모델의 성능을 조사하기 위한 더 많은 노력이 필요합니다.
\(\bullet\) 스케일링 법칙은 인과적 디코더에서 널리 관찰되었습니다. 모델 크기, 데이터 세트 크기, 총 계산을 확장함으로써 인과적 디코더의 성능을 크게 향상시킬 수 있습니다[55, 30]. 따라서 스케일링을 통해 인과적 디코더의 모델 용량을 늘리는 것이 중요한 전략이 되었습니다. 그러나 인코더-디코더 모델에 대한 보다 자세한 조사는 아직 부족하며, 대규모 인코더-디코더 모델의 성능을 조사하기 위한 더 많은 노력이 필요합니다.