In a realistic scenario, tools like LLaMA2 can rewrite pretrain data like we did in \(\mathsf{bioR}\). Rewriting data 40 times can produce 40 distinct English paragraphs, sometimes with (different) hallucinated contents. Does this require the model to be 40x larger? No, our comparison between \(\mathsf{bioS}\) and \(\mathsf{bioR}\) shows that, if trained for the same duration (40 rewrites each for 25 passes), the model's capacity ratio remains nearly the same, slightly lower due to irrelevant data introduced by LLaMA2.
현실 시나리오에서는 LLaMA2와 같은 도구로 (\(\mathsf{bioR}\)에서와 같이) 사전 학습 데이터를 다시 작성할 수 있습니다. 데이터를 40번 다시 작성하면 때로는 (다른) hallucinated 내용을 가진 40개의 서로 다른 영어 단락을 생성할 수 있습니다. 이를 위해 모델을 40배 더 크게 만들어야 하나요? 아니요, \(\mathsf{bioS}\)와 \(\mathsf{bioR}\)를 비교한 결과, 동일한 기간 동안 훈련할 경우(각 25회씩 40회 재작성), 모델의 용량 비율은 거의 동일하게 유지되며, LLaMA2에 의해 도입된 관련 없는 데이터로 인해 약간 낮아지는 것으로 나타났습니다.
현실 시나리오에서는 LLaMA2와 같은 도구로 (\(\mathsf{bioR}\)에서와 같이) 사전 학습 데이터를 다시 작성할 수 있습니다. 데이터를 40번 다시 작성하면 때로는 (다른) 환상적인 내용을 가진 40개의 서로 다른 영어 단락을 생성할 수 있습니다. 이를 위해 모델을 40배 더 크게 만들어야 하나요? 아니요, \(\mathsf{bioS}\)와 \(\mathsf{bioR}\)를 비교한 결과, 동일한 기간 동안 훈련할 경우(각 25회씩 40회 재작성), 모델의 용량 비율은 거의 동일하게 유지되며, LLaMA2에 의해 도입된 관련 없는 데이터로 인해 약간 낮아지는 것으로 나타났습니다.