Therefore, comparing \(\mathsf{bioS}\) and \(\mathsf{bioS}^{\mathsf{simple}}\), it's more advantageous to rewrite the data 1000 times (in this ideal setting), training each for one pass (as done in the \(\mathsf{bioS}\) data), rather than training the same data for 1000 passes (as done in the \(\mathsf{bioS}^{\mathsf{simple}}\) data). This is because, without data diversity, the model wastes capacity memorizing sentence structures, resulting in a capacity loss.
따라서 \(\mathsf{bioS}\)와 \(\mathsf{bioS}^{\mathsf{simple}}\)를 비교할 때, 동일한 데이터를 1000번 반복해서 학습하는 것(\(\mathsf{bioS}^{\mathsf{simple}}\) 데이터에서 수행된 것처럼)보다 데이터를 1000번 다시 작성하고 각 데이터를 한 번씩 학습하는 것(\(\mathsf{bioS}\) 데이터에서 수행된 것처럼)이 더 유리합니다. 이는 데이터 다양성이 없으면 모델이 문장 구조를 암기하는 데 용량을 낭비하게 되어 용량 손실이 발생하기 때문입니다.
따라서 \(\mathsf{bioS}\)와 \(\mathsf{bioS}^{\mathsf{simple}}\)를 비교하면, 이 경우(이 이상적인 설정에서) 1000번 훈련하는 것보다 1000번씩 훈련하는 것이 더 유리합니다(\(\mathsf{bioS}^{\mathsf{simple}}\) 데이터에서 수행한 것처럼). 데이터 다양성이 없으면 모델이 문장 구조를 암기하는 데 용량을 낭비하여 용량 손실이 발생하기 때문입니다.