RQ2: Does a combination of multiple synthetic datasets improve performance?We measure the impact of combining multiple synthetic styles with C4 for training. We consider two variants: combining in a 1:1 ratio meaning that there are two copies of C4 to match two synthetic styles (medium and QA), and 1:2 ratio which combines only one instance of the C4 dataset. For zero-shot QA tasks, our finding in Table 5-6 indicate lower performance than combining only QA and C4 data. Evaluations over the Pile are shown in Figure 4. We notice that both the 'Q/A' and 'Wikipedia' paraphrases help improve performance on certain domains. For example, 'Stackexchange', that has lots of question-answers benefits from the presence of synthetic data in Q/A style. Overall, we note that there is a small improvement on the average perplexity on the Pile by combining multiple styles.
RQ2: 여러 합성 데이터 세트의 조합이 성능을 향상시키는가?훈련을 위해 C4와 여러 synthetic styles을 결합하는 것이 미치는 영향을 측정합니다. 1:1 비율로 결합하는 경우, 두 개의 synthetic styles(중간 및 QA)과 일치하도록 C4의 복사본이 두 개 있는 경우와 1:2 비율로 C4 데이터 세트의 인스턴스 하나만 결합하는 경우 두 가지 변형을 고려합니다. Zero-shot QA 작업의 경우, 표 5-6의 결과에 따르면 QA 및 C4 데이터만 결합하는 것보다 성능이 낮습니다. Pile에 대한 평가는 그림 4에 나와 있습니다. 'Q/A'와 'Wikipedia' paraphrases가 특정 도메인에서 성능을 향상시키는 데 도움이 된다는 것을 알 수 있습니다. 예를 들어, 질문과 답변이 많은 'Stackexchange'는 Q/A 스타일의 synthetic data가 있으면 이점이 있습니다. 전반적으로 여러 styles을 결합하면 Pile의 평균 perplexity가 약간 개선되는 것을 확인할 수 있습니다.
RQ2: 여러 합성 데이터 세트의 조합이 성능을 향상시키는가?훈련을 위해 C4와 여러 합성 스타일을 결합하는 것이 미치는 영향을 측정합니다. 1:1 비율로 결합하는 경우, 두 개의 합성 스타일(중간 및 QA)과 일치하도록 C4의 복사본이 두 개 있는 경우와 1:2 비율로 C4 데이터 세트의 인스턴스 하나만 결합하는 경우 두 가지 변형을 고려합니다. 제로 샷 QA 작업의 경우, 표 5-6의 결과에 따르면 QA 및 C4 데이터만 결합하는 것보다 성능이 낮습니다. 더미에 대한 평가는 그림 4에 나와 있습니다. 'Q/A'와 '위키피디아' 의역이 특정 도메인에서 성능을 향상시키는 데 도움이 된다는 것을 알 수 있습니다. 예를 들어, 질문과 답변이 많은 'Stackexchange'는 Q/A 스타일의 합성 데이터가 있으면 이점이 있습니다. 전반적으로 여러 스타일을 결합하면 더미의 평균 난해함이 약간 개선되는 것을 확인할 수 있습니다.