**100K length training.** We further increased the training sequence length to 100K from 32K and trained the models on Arxiv-math dataset. 100K training further decreased the perplexity score to **2.21** and **2.20** for _Linear_ and _Linear_\(+\)_Delta_ models.
**100K 길이 training**. Training 시퀀스 길이를 32K에서 100K로 더 늘리고 Arxiv-math 데이터 세트에서 모델을 training했습니다. 100K training으로 _Linear_ 및 _Linear_\(+\)_Delta_ 모델의 perplexity 점수가 **2.21** 및 **2.20**으로 더욱 감소했습니다.
**100K 길이 트레이닝**. 트레이닝 시퀀스 길이를 32K에서 100K로 더 늘리고 Arxiv-math 데이터 세트에서 모델을 트레이닝했습니다. 100K 훈련으로 _Linear_ 및 _Linear_\(+\)_Delta_ 모델의 난해도 점수가 **2.21** 및 **2.20**으로 더욱 감소했습니다.