Both in terms of perplexity improvement at the end of training (see Figure A19) and efficiency (see Figure A18) we do not observe a significant difference between the OPT embedding space and embedding spaces M1 and M2 at the small model scale (125 million parameters). We note that M1 and M2 are significantly worse than the all-mp-net-base-v2 and all-mini-LM-v6 at small scales **and** suffer from the same problem of pruning away long documents (compared to the OPT embedding space), so we expect these models to under-perform the OPT embedding space at the 6.7b scale.
훈련 종료 시 Perplexity 개선(그림 A19 참조)과 효율성(그림 A18 참조) 측면에서 모두 소형 모델 규모(1억 2,500만 개의 파라미터)에서 OPT embedding 공간과 embedding 공간 M1 및 M2 사이에 큰 차이를 관찰할 수 없습니다. M1과 M2는 소규모에서 모든 mp-net-base-v2 및 모든 mini-LM-v6보다 훨씬 나쁘다는 점에 유의할 필요가 있으며, **그리고** 긴 문서를 잘라내는 것과 동일한 문제(OPT embedding 공간과 비교)를 겪기 때문에 6.7b 규모에서 이러한 모델이 OPT embedding 공간보다 성능이 저하될 것으로 예상됩니다.
훈련 종료 시 난해성 개선(그림 A19 참조)과 효율성(그림 A18 참조) 측면에서 모두 소형 모델 규모(1억 2,500만 개의 파라미터)에서 OPT 임베딩 공간과 임베딩 공간 M1 및 M2 사이에 큰 차이를 관찰할 수 없습니다. M1과 M2는 소규모에서 모든 mp-net-base-v2 및 모든 미니-LM-v6보다 훨씬 나쁘다는 점에 유의할 필요가 있으며, **그리고** 긴 문서를 잘라내는 것과 동일한 문제(OPT 임베딩 공간과 비교)를 겪기 때문에 6.7b 규모에서 이러한 모델이 OPT 임베딩 공간보다 성능이 저하될 것으로 예상됩니다.