D4 parameters: The choice of parameters \(R_{proto}\) and \(R_{dedup}\) while using D4 will have impact on the performance of D4. Given limited compute, we are not able to sweep over these hyperparameters. Instead, we strategically choose these parameters: we first look at the highest value of \(R\) in SemDeDup that results in perplexity improvement across validation sets. We choose the "highest value" because the purpose of SemDeDup is to remove duplicate-driven clusters and low \(R\) with SemDeDup generally removes more than just templates/semantic duplicates. As seen in Section A.3, this generally occured with \(R_{dedup}=0.75\). Thus, we chose \(R_{dedup}=0.75\) and varied \(R_{proto}\) to obtain different data selection ratios for D4.
D4 parameters: D4를 사용할 때 매개변수 \(R_{proto}\) 및 \(R_{dedup}\)를 선택하면 D4의 성능에 영향을 미칩니다. 컴퓨팅 리소스가 제한되어 있기 때문에 이러한 hyperparameters를 스윕할 수 없습니다. 대신 이러한 매개변수를 전략적으로 선택합니다. 먼저 유효성 검사 세트 전체에서 perplexity 개선을 가져오는 SemDeDup에서 가장 높은 값의 \(R\)을 살펴봅니다. SemDeDup의 목적은 중복 클러스터를 제거하는 것이므로 "가장 높은 값"을 선택하며, 일반적으로 SemDeDup의 낮은 \(R\)은 템플릿/시맨틱 중복 이상을 제거합니다. 섹션 A.3에서 볼 수 있듯이, 이는 일반적으로 \(R_{dedup}=0.75\)에서 발생했습니다. 따라서 \(R_{dedup}=0.75\)를 선택하고 \(R_{proto}\)를 변경하여 D4에 대해 다른 데이터 선택 비율을 얻었습니다.
D4 매개변수: D4를 사용할 때 매개변수 \(R_{proto}\) 및 \(R_{dedup}\)를 선택하면 D4의 성능에 영향을 미칩니다. 컴퓨팅 리소스가 제한되어 있기 때문에 이러한 하이퍼파라미터를 스윕할 수 없습니다. 대신 이러한 매개변수를 전략적으로 선택합니다. 먼저 유효성 검사 세트 전체에서 난해성 개선을 가져오는 SemDeDup에서 가장 높은 값의 \(R\)을 살펴봅니다. SemDeDup의 목적은 중복 클러스터를 제거하는 것이므로 "가장 높은 값"을 선택하며, 일반적으로 SemDeDup의 낮은 \(R\)은 템플릿/시맨틱 중복 이상을 제거합니다. 섹션 A.3에서 볼 수 있듯이, 이는 일반적으로 \(R_{dedup}=0.75\)에서 발생했습니다. 따라서 \(R_{dedup}=0.75\)를 선택하고 \(R_{proto}\)를 변경하여 D4에 대해 다른 데이터 선택 비율을 얻었습니다.