* **Differences between curated and web data.** It is possible that web data is more sensitive to duplicates. For instance, the most common duplicates in web data (e.g., spam) may be more detrimental than the most common duplicates in curated data. This suggests a qualitative component to deduplication that we have not studied in this work. * **Differences in deduplication pipeline.** Because Biderman et al. (2023) uses the MinHash settings from Lee et al. (2022), they are mostly identical to ours. However, we also apply exact deduplication: while their deduplication incurs a 30% reduction in size, our deduplication is more aggressive, resulting in a 45% reduction in size. This may explain why our results in Table 5 show a stronger gain from deduplication than theirs in Figure 9. * **Differences in pretraining.** Finally, we note that Biderman et al. (2023) chooses to perform a partial extra epoch on the deduplicated data to reach 300GT, while we always perform a single epoch. Their setting corresponds to a data-constrained scenario, which is more realistic for the curated data they study; for us, web data is plentiful, so deduplication never truly limits the size of the datasets we can use.
* **큐레이션 데이터와 웹 데이터의 차이점**. 웹 데이터는 중복에 더 민감할 수 있습니다. 예를 들어, 웹 데이터에서 가장 일반적인 중복(예: 스팸)이 큐레이션된 데이터에서 가장 일반적인 중복보다 더 해로울 수 있습니다. 이는 이 작업에서 연구하지 않은 중복 제거에 대한 정성적 요소를 시사합니다. * **중복 제거 파이프라인의 차이점**. Biderman 등(2023)은 Lee 등(2022)의 MinHash 설정을 사용하기 때문에 대부분 우리와 동일합니다. 그러나 우리는 정확한 중복 제거를 적용합니다. 중복 제거로 인해 크기가 30% 감소하는 반면, 우리의 중복 제거는 더 적극적이어서 크기가 45% 감소합니다. 이것이 표 5의 결과에서 중복 제거로 인한 이득이 그림 9의 결과보다 더 강하게 나타난 이유일 것입니다. * **Pretraining의 차이점**. 마지막으로, Biderman 등(2023)은 중복 제거된 데이터에 대해 부분적으로 추가 epoch를 수행하여 300GT에 도달하는 반면, 우리는 항상 단일 epoch를 수행한다는 점에 유의합니다. 이 설정은 그들이 연구하는 큐레이션된 데이터에 더 현실적인 데이터 제약 시나리오에 해당합니다. 웹 데이터는 풍부하기 때문에 중복 제거가 우리가 사용할 수 있는 데이터 세트의 크기를 제한하지 않습니다.
* **큐레이션 데이터와 웹 데이터의 차이점**. 웹 데이터는 중복에 더 민감할 수 있습니다. 예를 들어, 웹 데이터에서 가장 일반적인 중복(예: 스팸)이 큐레이션된 데이터에서 가장 일반적인 중복보다 더 해로울 수 있습니다. 이는 이 작업에서 연구하지 않은 중복 제거에 대한 정성적 요소를 시사합니다. * **중복 제거 파이프라인의 차이점**. Biderman 등(2023)은 Lee 등(2022)의 MinHash 설정을 사용하기 때문에 대부분 우리와 동일합니다. 그러나 우리는 정확한 중복 제거를 적용합니다. 중복 제거로 인해 크기가 30% 감소하는 반면, 우리의 중복 제거는 더 적극적이어서 크기가 45% 감소합니다. 이것이 표 5의 결과에서 중복 제거로 인한 이득이 그림 9의 결과보다 더 강하게 나타난 이유일 것입니다. * **사전 학습의 차이점**. 마지막으로, Biderman 등(2023)은 중복 제거된 데이터에 대해 부분적으로 추가 에포크를 수행하여 300GT에 도달하는 반면, 우리는 항상 단일 에포크를 수행한다는 점에 유의합니다. 이 설정은 그들이 연구하는 큐레이션된 데이터에 더 현실적인 데이터 제약 시나리오에 해당합니다. 웹 데이터는 풍부하기 때문에 중복 제거가 우리가 사용할 수 있는 데이터 세트의 크기를 제한하지 않습니다.