Ablating the contributions and evaluating the performance of individual components in the MDR pipeline is difficult: for most heuristics, there is no agreed-upon ground truth, and changes may be too insignificant to result in sufficient zero-shot signal after pretraining. In the first half of Section 4.2, we identified that subsequent stages of RefinedWeb (raw, filtered, final) led to improvements in performance. In this section, we propose to apply independently the filtering and deduplication stages of MDR to popular pretraining datasets, studying whether they generalize widely.
MDR 파이프라인에서 기여도를 제거하고 개별 구성 요소의 성능을 평가하는 것은 어렵습니다. 대부분의 heuristics의 경우 합의된 ground truth가 없으며, 변경 사항이 너무 미미하여 pretraining 후 충분한 zero-shot 신호를 생성하지 못할 수 있습니다. 섹션 4.2의 전반부에서는 RefinedWeb의 후속 단계(원시, 필터링, 최종)가 성능 향상으로 이어진다는 것을 확인했습니다. 이 섹션에서는 MDR의 filtering 및 deduplication 단계를 대중적인 pretraining 데이터 세트에 독립적으로 적용하여 일반화되는지 연구할 것을 제안합니다.
MDR 파이프라인에서 기여도를 제거하고 개별 구성 요소의 성능을 평가하는 것은 어렵습니다. 대부분의 휴리스틱의 경우 합의된 기준 진실이 없으며, 변경 사항이 너무 미미하여 사전 학습 후 충분한 0샷 신호를 생성하지 못할 수 있습니다. 섹션 4.2의 전반부에서는 RefinedWeb의 후속 단계(원시, 필터링, 최종)가 성능 향상으로 이어진다는 것을 확인했습니다. 이 섹션에서는 MDR의 필터링 및 중복 제거 단계를 대중적인 사전 학습 데이터 세트에 독립적으로 적용하여 일반화되는지 연구할 것을 제안합니다.