We observe, in Figure A17 that at small model scales, sentence transformer embedding spaces outperforms the OPT embedding space. Given these initial results, we took our most overall-all efficient embedding space at the 1.3b model scale ("all-mini-lm-v6") and ran a 6.7b training run with it. Surprisingly, we observed that at larger model scale, the OPT embedding space outperforms the "all-mini-LM-v6" embedding space. Given that the difference between "all-mini-LM-v6" and "all-mp-net-base-v2" is generally small (see Figure A17), we also expect the OPT embedding space to beat "all-mpnet-base-v2" at the 6.7b, although we were not able to complete this run due to compute restrictions. We see the same trend when we consider overall and naive efficiency of using D4 with different embedding spaces in Figure A18.
그림 A17에서 보면, 작은 모델 규모에서 sentence transformer embedding 공간이 OPT embedding 공간보다 성능이 뛰어나다는 것을 알 수 있습니다. 이러한 초기 결과를 바탕으로, 우리는 전체적으로 가장 효율적인 embedding 공간인 1.3b 모델 규모의 "all-mini-lm-v6"를 선택하고 이를 사용하여 6.7b 훈련을 실행했습니다. 놀랍게도 더 큰 모델 규모에서는 OPT embedding 공간이 "all-mini-LM-v6" embedding 공간보다 성능이 뛰어나다는 것을 발견했습니다. "all-mini-LM-v6"와 "all-mp-net-base-v2"의 차이가 일반적으로 작다는 점을 감안할 때(그림 A17 참조), 6.7b에서도 OPT embedding 공간이 "all-mpnet-base-v2"를 이길 것으로 예상하지만, 계산 제한으로 인해 이 실행을 완료할 수 없었습니다. 그림 A18에서 다양한 embedding 공간에서 D4를 사용할 때 전체 및 naive 효율성을 고려할 때 동일한 추세를 볼 수 있습니다.
그림 A17에서 보면, 작은 모델 규모에서 문장 변환기 임베딩 공간이 OPT 임베딩 공간보다 성능이 뛰어나다는 것을 알 수 있습니다. 이러한 초기 결과를 바탕으로, 우리는 전체적으로 가장 효율적인 임베딩 공간인 1.3b 모델 규모의 "all-mini-lm-v6"를 선택하고 이를 사용하여 6.7b 훈련을 실행했습니다. 놀랍게도 더 큰 모델 규모에서는 OPT 임베딩 공간이 "all-mini-LM-v6" 임베딩 공간보다 성능이 뛰어나다는 것을 발견했습니다. "all-mini-LM-v6"와 "all-mp-net-base-v2"의 차이가 일반적으로 작다는 점을 감안할 때(그림 A17 참조), 6.7b에서도 OPT 임베딩 공간이 "all-mpnet-base-v2"를 이길 것으로 예상하지만, 계산 제한으로 인해 이 실행을 완료할 수 없었습니다. 그림 A18에서 다양한 임베딩 공간에서 D4를 사용할 때 전체 및 순진한 효율성을 고려할 때 동일한 추세를 볼 수 있습니다.