During development, we saved intermediary outputs from our pipeline for investigations and for ablations-intermediary outputs exist for about 5% of RefinedWeb. We did not keep intermediary outputs for the final production version of the dataset due to storage and resource constraints.
개발 중에, 우리는 조사와 소거를 위해 파이프라인에서 중간 출력을 저장했습니다. 중간 출력은 RefinedWeb의 약 5%에 해당합니다. 저장 공간과 자원 제약으로 인해 최종 생산 버전의 데이터셋에는 중간 출력을 유지하지 않았습니다.
개발 과정에서 조사 및 절제를 위해 파이프라인의 중간 출력을 저장했으며, 약 5%의 RefinedWeb에 대한 중간 출력이 존재합니다. 저장 및 리소스 제약으로 인해 데이터 세트의 최종 프로덕션 버전에 대한 중간 출력을 보관하지 않았습니다.