Combining Real and Synthetic DataOur method of re-phrasing web data naturally incorporates the information diversity found on the internet. However, it does not incorporate the noise in real data. While synthetic data may help LLMs pre-train faster, we also want them to be able to understand noisy web text that may be filled with typos and linguistic errors so that the LLMs do not fail in user facing situations. In order to incorporate this style diversity in language modeling, we sample real and synthetic data in a 1:1 ratio.
실제 데이터와 합성 데이터를 결합하기 우리의 웹 데이터 재구성 방법은 자연스럽게 인터넷에서 발견되는 정보의 다양성을 포함합니다. 그러나 실제 데이터의 노이즈는 포함하지 않습니다. 합성 데이터는 LLM이 더 빠르게 사전 학습하는 데 도움이 될 수 있지만, 우리는 또한 LLM이 사용자와 대면하는 상황에서 실패하지 않도록 오타와 언어적 오류로 가득 찬 노이즈가 있는 웹 텍스트를 이해할 수 있기를 원합니다. 언어 모델링에서 이러한 스타일 다양성을 포함하기 위해, 우리는 실제 데이터와 합성 데이터를 1:1 비율로 샘플링합니다.
실제 데이터와 합성 데이터 결합웹 데이터를 재구성하는 방법은 인터넷에서 발견되는 정보 다양성을 자연스럽게 통합합니다. 그러나 실제 데이터의 노이즈는 통합하지 않습니다. 합성 데이터는 LLM이 더 빠르게 사전 학습할 수 있도록 도울 수 있지만, 오타와 언어적 오류로 가득 찬 노이즈가 많은 웹 텍스트도 이해할 수 있어야 LLM이 사용자 대면 상황에서 실패하지 않도록 해야 합니다. 언어 모델링에 이러한 스타일 다양성을 통합하기 위해 실제 데이터와 합성 데이터를 1:1 비율로 샘플링합니다.