The scaling law for the \(\mathsf{bioR}(N)\) data is presented in Figure 11(b), indicating that the capacity ratio slightly decreases for larger models. This trend is expected, as LLaMA2 introduces numerous irrelevant details into the human biographies -- usually different irrelevant details for each LLaMA2 generation -- thereby consuming more model capacity. The decrease is more significant for smaller models, which may have greater difficulty comprehending the diverse English sentences in the data.
(\mathsf{bioR}(N)\) 데이터에 대한 scaling law는 그림 11(b)에 나와 있으며, 이는 더 큰 모델에 대해 용량 비율이 약간 감소함을 나타냅니다. 이러한 추세는 LLaMA2가 인간의 전기에 수많은 관련 없는 세부 사항(일반적으로 각 LLaMA2 세대마다 다른 관련 없는 세부 사항)을 도입하여 더 많은 모델 용량을 소비하기 때문에 예상되는 결과입니다. 이러한 감소는 데이터의 다양한 영어 문장을 이해하는 데 어려움을 겪을 수 있는 소규모 모델에서 더욱 두드러집니다.
(\mathsf{bioR}(N)\) 데이터에 대한 스케일링 법칙은 그림 11(b)에 나와 있으며, 이는 더 큰 모델에 대해 용량 비율이 약간 감소함을 나타냅니다. 이러한 추세는 LLaMA2가 인간의 전기에 수많은 관련 없는 세부 사항(일반적으로 각 LLaMA2 세대마다 다른 관련 없는 세부 사항)을 도입하여 더 많은 모델 용량을 소비하기 때문에 예상되는 결과입니다. 이러한 감소는 데이터의 다양한 영어 문장을 이해하는 데 어려움을 겪을 수 있는 소규모 모델에서 더욱 두드러집니다.