What if the model is not sufficiently trained? For instance, there might be instances where knowledge appears only 100 times throughout the pretraining phase. We also calculate the capacity ratios for models trained with 100 exposures on \(\mathsf{bioS}(N)\).
모델이 충분히 학습되지 않은 경우 어떻게 될까요? 예를 들어, 사전 학습 단계에서 지식이 100회만 나타나는 경우가 있을 수 있습니다. 또한 \(\mathsf{bioS}(N)\)에서 100회 노출된 모델로 학습된 모델의 capacity ratios도 계산합니다.
모델이 충분히 학습되지 않은 경우 어떻게 될까요? 예를 들어, 사전 학습 단계에서 지식이 100회만 나타나는 경우가 있을 수 있습니다. 또한 \(\mathsf{bioS}(N)\)에서 100회 노출된 모델로 학습된 모델의 용량 비율도 계산합니다.