Nevertheless, we argue that this paper does not show that _all_ small models should suffer from saturation, but rather that the saturation of small language models is symptomatic of a limitation that may affect language models that are based on a relatively small hidden dimension.
그럼에도 불구하고, 이 논문은 _모든_ 소형 모델이 포화 상태에 이르러야 한다는 것을 보여주는 것이 아니라, 오히려 소형 language models의 포화 상태가 상대적으로 작은 hidden dimension에 기반한 language models에 영향을 미칠 수 있는 한계의 증상이라는 것을 보여준다고 주장합니다.
그럼에도 불구하고, 이 논문은 모든 소형 모델이 포화 상태에 이르러야 한다는 것을 보여주는 것이 아니라, 오히려 소형 언어 모델의 포화 상태가 상대적으로 작은 숨겨진 차원에 기반한 언어 모델에 영향을 미칠 수 있는 한계의 증상이라는 것을 보여준다고 주장합니다.