In this section, we briefly show our results for comparing data selecting methods at the 125M scale, where the pre-training dataset is the C4 [41] dataset instead of CC-dedup. We see in Figure A20 that D4 generally outperforms other methods. These initial experiments motivates us to try comparing data selection methods on more heavily filtered web-data (i.e. CC-dedup).
이 섹션에서는 사전 학습 데이터셋으로 CC-dedup 대신 C4 [41] 데이터셋을 사용하여 125M 규모에서 데이터 선택 방법을 비교한 결과를 간략히 보여줍니다. Figure A20에서 D4가 일반적으로 다른 방법들보다 우수하다는 것을 확인할 수 있습니다. 이러한 초기 실험들은 더 엄격하게 필터링된 웹 데이터(즉, CC-dedup)에서 데이터 선택 방법을 비교해보려는 동기를 부여합니다.
이 섹션에서는 사전 학습 데이터 세트가 CC-dedup가 아닌 C4 [41] 데이터 세트인 125M 규모에서 데이터 선택 방법을 비교한 결과를 간략하게 보여 줍니다. 그림 A20에서 D4가 일반적으로 다른 방법보다 성능이 뛰어나다는 것을 알 수 있습니다. 이러한 초기 실험을 통해 더 많이 필터링된 웹 데이터(예: CC-dedup)에 대해 데이터 선택 방법을 비교해보고자 하는 동기를 얻었습니다.