Figure A17: Perplexity (y-axis) versus selection ratio \(R\) (x-axis) for different embedding spaces, when selecting data via D4. Across different 8m (top), 125m (middle) and 1.3b (bottom) model scales, we see that the SentenceTransformer embedding spaces outperform the OPT embedding space, but at the 6.7b model scale, we see that the OPT embedding space begins outperforming the all Mini LM v6 embedding space. We were unable to run an ”all-mp-net-base-v2” 6.7b experiment due to compute restrictions, but we note that the difference between ”all-mini-lm-v6” and ”all-mp-net-base-v2” across model scales and selection ratios is generally small, so we expect the OPT embedding space to outperform the ”all-mp-net-base-v2” at the 6.7b scale.
그림 A17: Perplexity (y축) 대 선택 비율 \(R\) (x축) 그래프입니다. D4를 통해 데이터를 선택할 때 다양한 embedding 공간에 대한 Perplexity를 보여줍니다. 다양한 8m(상단), 125m(중단), 1.3b(하단) 모델 규모에서 SentenceTransformer embedding 공간이 OPT embedding 공간보다 성능이 뛰어나다는 것을 알 수 있지만, 6.7b 모델 규모에서는 OPT embedding 공간이 모든 Mini LM v6 embedding 공간보다 성능이 뛰어나기 시작하는 것을 볼 수 있습니다. 컴퓨팅 제한으로 인해 6.7b의 "all-mp-net-base-v2" 실험을 실행할 수 없었지만, 모델 규모와 선택 비율에 따른 "all-mini-lm-v6"와 "all-mp-net-base-v2"의 차이가 일반적으로 작기 때문에 6.7b 규모에서 OPT embedding 공간이 "all-mp-net-base-v2"보다 성능이 뛰어날 것으로 예상됩니다.
그림 A17: D4를 통해 데이터를 선택할 때 다양한 임베딩 공간에 대한 난해도(y축) 대 선택 비율(x축) 그래프입니다. 다양한 8m(상단), 125m(중단), 1.3b(하단) 모델 규모에서 문장 변환기 임베딩 공간이 OPT 임베딩 공간보다 성능이 뛰어나다는 것을 알 수 있지만, 6.7b 모델 규모에서는 OPT 임베딩 공간이 모든 Mini LM v6 임베딩 공간보다 성능이 뛰어나기 시작하는 것을 볼 수 있습니다. 컴퓨팅 제한으로 인해 6.7b의 "모든-MP-NET-BASE-V2" 실험을 실행할 수 없었지만, 모델 규모와 선택 비율에 따른 "모든-미니-LM-V6"와 "모든-MP-NET-BASE-V2"의 차이가 일반적으로 작기 때문에 6.7b 규모에서 OPT 임베딩 공간이 "모든-MP-NET-BASE-V2"보다 성능이 뛰어날 것으로 예상됩니다.