Figure 9: Cosine similarity medium synthetic MRPC rephrasesThis leads to lower metric values for many of the metrics. For type token ratio, we note that the diversity is quite similar between medium and most subsets of the Pile. The QA dataset has particularly low TTR matching ubuntu, github, and math as these are more similar to QA format datasets and have heavy repetition of the Question, and Answer format.
그림 9: Cosine similarity 중간 synthetic MRPC 의역이로 인해 많은 metric의 metric 값이 낮아집니다. Type token ratio의 경우, 다양성이 중간 및 대부분의 Pile 하위 집합 간에 상당히 유사하다는 점에 유의합니다. QA 데이터 세트는 특히 낮은 TTR을 가지고 있으며, 이는 QA 형식의 데이터 세트와 더 유사하고 질문 및 답변 형식이 반복되기 때문에 우분투, 깃허브, 수학과 일치합니다.
그림 9: 코사인 유사도 중간 합성 MRPC 의역이로 인해 많은 메트릭의 메트릭 값이 낮아집니다. 유형 토큰 비율의 경우, 다양성이 중간 및 대부분의 Pile 하위 집합 간에 상당히 유사하다는 점에 유의합니다. QA 데이터 세트는 특히 낮은 TTR을 가지고 있으며, 이는 QA 형식의 데이터 세트와 더 유사하고 질문 및 답변 형식이 반복되기 때문에 우분투, 깃허브, 수학과 일치합니다.