Figure A18: Comparison of naive efficiency for different embedding spaces, when using D4 as the data selection strategy. Similar to Figure A17, we see that all-mini-LM-v6 outperforms the OPT embedding space at small scale, but not at large (6.7b) model scale.
그림 A18: 데이터 선택 전략으로 D4를 사용할 때 다양한 embedding 공간에 대한 naive efficiency 비교. 그림 A17과 유사하게, all-mini-LM-v6이 소규모에서는 OPT embedding 공간을 능가하지만 대규모(6.7b) 모델 규모에서는 그렇지 않다는 것을 알 수 있습니다.
그림 A18: 데이터 선택 전략으로 D4를 사용할 때 다양한 임베딩 공간에 대한 순진 효율성 비교. 그림 A17과 유사하게, 모든 미니-LM-v6이 소규모에서는 OPT 임베딩 공간을 능가하지만 대규모(6.7b) 모델 규모에서는 그렇지 않다는 것을 알 수 있습니다.