Figure A20: Comparison of data selection strategies with the OPT model embedding space, when using D4 as a the selection strategy, when using C4 as the starting training dataset. The x-axis is selectoin ratio \(R\), and the y-axis is perplexity difference compared to baseline (the horizontal gray dotted line at 0.0 represents our baseline i.e. when no data selection is done), so **lower is better**. Notice that D4 and SemDeDup match at 90%, because we use \(R_{dedup}=0.9\) and varied \(R_{proto}\) for this experiment.
그림 A20: D4를 선택 전략으로 사용할 때, C4를 시작 훈련 데이터 세트로 사용할 때, 데이터 선택 전략을 OPT 모델 embedding 공간과 비교한 그림입니다. x축은 선택 비율 \(R\), y축은 기준선 대비 perplexity 차이(0.0의 수평 회색 점선은 기준선, 즉 데이터 선택이 수행되지 않은 경우를 나타냄)이므로 **낮을수록 좋습니다**. 이 실험에서는 \(R_{dedup}=0.9\)를 사용하고 \(R_{proto}\)를 변경했기 때문에 D4와 SemDeDup이 90%에서 일치한다는 점에 유의하세요.
그림 A20: D4를 선택 전략으로 사용할 때, C4를 시작 훈련 데이터 세트로 사용할 때, 데이터 선택 전략을 OPT 모델 임베딩 공간과 비교한 그림입니다. x축은 선택 비율 \(R\), y축은 기준선 대비 난해도 차이(0.0의 수평 회색 점선은 기준선, 즉 데이터 선택이 수행되지 않은 경우를 나타냄)이므로 **낮을수록 좋습니다**. 이 실험에서는 \(R_{dedup}=0.9\)를 사용하고 \(R_{proto}\)를 변경했기 때문에 D4와 SemDeDup이 90%에서 일치한다는 점에 유의하세요.