The main limitation of this article is the relatively small amount of saturated language models we studied. As it is the only suite of language models trained in the range of interest to release an extensive amount of intermediate checkpoints, we could only observe the training dynamics of small Pythia models. Although we observe strong last-layer anisotropy for the smallest GPT-2 model, we cannot tell with certainty whether it suffered from saturation. The OPT-125m model does not display a strong last-layer anisotropy, which could indicate that it was not affected by the saturation phenomenon.
이 논문의 주요 한계는 우리가 연구한 포화된 언어 모델의 수가 상대적으로 적다는 점입니다. 관심 범위 내에서 광범위한 중간 체크포인트를 공개한 유일한 언어 모델 모음이기 때문에, 우리는 작은 Pythia 모델의 학습 동역학만을 관찰할 수 있었습니다. 가장 작은 GPT-2 모델에서 강한 마지막 층의 비등방성을 관찰했지만, 그것이 포화 현상을 겪었는지 확실히 말할 수는 없습니다. OPT-125m 모델은 강한 마지막 층의 비등방성을 나타내지 않으며, 이는 포화 현상의 영향을 받지 않았음을 나타낼 수 있습니다.
이 글의 주요 한계는 우리가 연구한 포화 언어 모델의 상대적으로 적은 양입니다. 광범위한 중간 체크포인트를 공개하기 위해 관심 있는 범위에서 훈련된 유일한 언어 모델 제품군이기 때문에 작은 Pythia 모델의 훈련 동역학만 관찰할 수 있었습니다. 가장 작은 GPT-2 모델에 대해 강한 마지막 레이어 이방성을 관찰했지만, 포화 현상으로 인해 문제가 발생했는지 확실하게 알 수 없습니다. OPT-125m 모델은 강한 마지막 레이어 이방성을 나타내지 않으며, 이는 포화 현상의 영향을 받지 않았음을 나타낼 수 있습니다.