In contrast, if 7/8 of data is bioS(\(N^{\prime}\)) with a very small \(N^{\prime}\), simulating highly repetitive knowledge appearing in training tokens (e.g., "da Vinci painted the Mona Lisa" in millions of variations), this may not affect the model's capacity for "standard" knowledge (e.g., those with 100 exposures):
반면, 데이터의 7/8이 매우 작은 \(N^{\prime}\) 값을 가진 bioS(\(N^{\prime}\))로 구성되어 있어 훈련 토큰에서 매우 반복적으로 나타나는 지식을 시뮬레이션하는 경우(예: "다빈치가 모나리자를 그렸다"는 수백만 가지 변형), 이는 모델의 "표준" 지식 용량(예: 100번 노출된 지식)에 영향을 미치지 않을 수 있습니다.
반대로, 데이터의 7/8이 매우 작은 \(N^{\prime}\)를 가진 bioS(\(N^{\prime}\))인 경우, 훈련 토큰에 나타나는 매우 반복적인 지식(예: 수백만 가지 변형으로 "다빈치는 모나리자를 그렸다")을 시뮬레이션하는 경우, 이는 "표준" 지식(예: 100회 노출된 지식)에 대한 모델의 역량에 영향을 미치지 않을 수 있습니다: