We primarily focus on models with \(\ell\geq 2\), as \(1\)-layer transformers may demonstrate slightly lower capacity ratios.
1-layer Transformer의 용량 비율이 약간 낮을 수 있으므로 주로 \(\ell\geq 2\)의 모델에 초점을 맞춘다.
1레이어 트랜스포머의 용량 비율이 약간 낮을 수 있으므로 주로 \(\ell\geq 2\)의 모델에 초점을 맞춘다.