Generating Synthetic DataNow, we detail how we utilize an instruction-tuned language model to rephrase texts from web-crawled datasets such as C4 (Raffel et al., 2020) (which we use for all our experiments). In particular, we use a frozen Mistral-7B instruction-tuned model (Jiang et al., 2023) (see Ablations in Section 6 for other models). To generate synthetic data in "medium" style, the Mistral model is prompted using the following instruction: "_For the following paragraph give me a paraphrase of the same in high-quality English language as in sentences on Wikipedia"_. The prompt was created using iterative human feedback by comparing outputs of "medium" sized LLMs with those of GPT-4. We use the model output to create a parallel corpus of "high-quality" synthetic data corresponding to the original noisy web data. Each example has a maximum of 300 tokens, which was decided based on our empirical observation that asking an LLM to rephrase more than 300 tokens, often led to loss of information. Discussions on data quality can be found in Section C.
합성 데이터 생성이제 Instruction-tuned 언어 모델을 사용하여 C4(Raffel et al., 2020)와 같은 웹 크롤링 데이터 세트의 텍스트를 다시 표현하는 방법을 자세히 설명합니다(모든 실험에 사용). 특히, 우리는 냉동 Mistral-7B Instruction-tuned 모델(Jiang et al., 2023)을 사용합니다(다른 모델은 섹션 6의 절제에 참조). "중간" 스타일의 합성 데이터를 생성하기 위해 Mistral 모델은 다음과 같은 Instruction을 사용하여 프롬프트됩니다: "_다음 단락에 대해 위키백과의 문장처럼 고품질 영어로 의역해 주세요"_. 이 프롬프트는 "중간" 크기의 LLM의 출력과 GPT-4의 출력을 비교하여 반복적인 인간 피드백을 사용하여 생성되었습니다. 모델 출력을 사용하여 원래의 노이즈가 많은 웹 데이터에 해당하는 "고품질" 합성 데이터의 병렬 코퍼스를 생성합니다. 각 예제는 최대 300개의 토큰을 가지며, 이는 LLM에게 300개 이상의 토큰을 다시 표현하도록 요청하면 정보 손실이 발생하는 경향이 있다는 경험적 관찰을 바탕으로 결정된 것입니다. 데이터 품질에 대한 논의는 섹션 C에서 확인할 수 있습니다.
합성 데이터 생성이제 지침에 맞게 조정된 언어 모델을 사용하여 C4(Raffel et al., 2020)와 같은 웹 크롤링 데이터 세트의 텍스트를 다시 표현하는 방법을 자세히 설명합니다(모든 실험에 사용). 특히, 우리는 냉동 미스트랄-7B 지침 조정 모델(Jiang et al., 2023)을 사용합니다(다른 모델은 섹션 6의 절제에 참조). "중간" 스타일의 합성 데이터를 생성하기 위해 Mistral 모델은 다음과 같은 지침을 사용하여 프롬프트됩니다: "_다음 단락에 대해 위키백과의 문장처럼 고품질 영어로 의역해 주세요"_. 이 프롬프트는 "중간" 크기의 LLM의 출력과 GPT-4의 출력을 비교하여 반복적인 인간 피드백을 사용하여 생성되었습니다. 모델 출력을 사용하여 원래의 노이즈가 많은 웹 데이터에 해당하는 "고품질" 합성 데이터의 병렬 코퍼스를 생성합니다. 각 예제는 최대 300개의 토큰을 가지며, 이는 LLM에게 300개 이상의 토큰을 다시 표현하도록 요청하면 정보 손실이 발생하는 경향이 있다는 경험적 관찰을 바탕으로 결정된 것입니다. 데이터 품질에 대한 논의는 섹션 C에서 확인할 수 있습니다.