We choose \(11000\) clusters following previous work [1] and we note that this choice sticks to the heuristic that the number of clusters should roughly be the square root of the number of total points being clustered. We also note that in initial experiments for data selection at the 125M OPT model scale, we did not find a significant effect of number of clusters on the performance of our data selection methods (see Figure A1) this finding agrees with Abbas et al. [1] who notice significant overlap between datasets selected by SemDeDup with different number of clusters (see Figure A2 in Abbas et al. [1]).
이전 연구 [1]를 따라 \(11000\)개의 클러스터를 선택했으며, 이는 클러스터의 수가 클러스터링되는 총 점의 수의 대략 제곱근이어야 한다는 휴리스틱에 부합함을 확인했습니다. 또한 125M OPT 모델 규모에서 데이터 선택을 위한 초기 실험에서 클러스터 수가 데이터 선택 방법의 성능에 큰 영향을 미치지 않는다는 것을 발견했습니다(그림 A1 참조). 이 발견은 SemDeDup이 다른 클러스터 수로 선택한 데이터셋 간에 상당한 중복이 있음을 발견한 Abbas et al. [1]의 연구와 일치합니다(Abbas et al. [1]의 그림 A2 참조).
이전 작업 [1]에 따라 \(11000\) 클러스터를 선택하고, 클러스터 수는 클러스터링되는 총 점 수의 제곱근이 되어야 한다는 휴리스틱을 따르는 것을 알 수 있습니다. 또한 125M OPT 모델 규모에서 데이터 선택을 위한 초기 실험에서 클러스터 수가 데이터 선택 방법의 성능에 미치는 영향이 크지 않다는 것을 발견했으며(그림 A1 참조), 이 결과는 Abbas 등[1]의 연구에서도 SemDeDup에 의해 선택된 데이터 세트 간에 클러스터 수가 다르더라도 상당한 중복이 있음을 발견한 것과 일치합니다(Abbas 등[1]의 그림 A2 참조).