1. _Multi-variables._ For a data mixing law for \(K\) domains, we should consider \(K-1\) degrees of freedom in the mixture proportions and, correspondingly, \(K-1\) variables in the target function. The increase of variables considerably enlarges the scope of potential functions thereby complicating the identification of the function form. 2. _Nonmonotonicity._ A monotonic relationship between losses and the proportion of any domain indicates that a lopsided mixture can achieve minimum loss without endeavors to balance domain proportions, which contradicts the practice. Therefore, differing from existing scaling laws that loss monotonically decreases with the scale of concerning factors, the data mixing law we study should accommodate non-monotonic functions. This nonmonotonic nature adds another layer of complexity to our analysis.
1. _다변수._ \(K\) 도메인에 대한 데이터 믹싱 법칙의 경우, 혼합 비율에서 \(K-1\) 자유도를 고려해야 하며, 그에 따라 대상 함수에서 \(K-1\) 변수를 고려해야 합니다. 변수의 증가는 잠재적 함수의 범위를 크게 확장하여 함수 형태의 식별을 복잡하게 만듭니다. 2. _비단조로움._ 손실과 어떤 영역의 비율 사이의 단조로운 관계는 관행과 모순되는 영역 비율의 균형을 맞추려는 노력 없이 일방적인 혼합이 최소 손실을 달성할 수 있음을 나타냅니다. 따라서 손실이 관련 요인의 규모에 따라 단조롭게 감소하는 기존의 scaling laws와 달리, 우리가 연구하는 데이터 믹싱 법칙은 비단조로운 함수를 수용해야 합니다. 이러한 비단조로운 특성은 분석에 또 다른 복잡성을 더합니다.
1. _다변수._ K\) 도메인에 대한 데이터 믹싱 법칙의 경우, 혼합 비율에서 \(K-1\) 자유도를 고려해야 하며, 그에 따라 대상 함수에서 \(K-1\) 변수를 고려해야 합니다. 변수의 증가는 잠재적 함수의 범위를 크게 확장하여 함수 형태의 식별을 복잡하게 만듭니다. 2. _비단조로움._ 손실과 어떤 영역의 비율 사이의 단조로운 관계는 관행과 모순되는 영역 비율의 균형을 맞추려는 노력 없이 일방적인 혼합이 최소 손실을 달성할 수 있음을 나타냅니다. 따라서 손실이 관련 요인의 규모에 따라 단조롭게 감소하는 기존의 스케일링 법칙과 달리, 우리가 연구하는 데이터 믹싱 법칙은 비단조로운 함수를 수용해야 합니다. 이러한 비단조로운 특성은 분석에 또 다른 복잡성을 더합니다.