To provide more intuition, we discuss the meanings of the coefficients in Eqn. 7. In general, \(k_{i}>0\), thus the exponential term is always positive and the prediction loss is strictly greater than the constant \(c\). Hereby, \(c_{i}\) represents losses that are not reducible by adjusting the data mixture. \(t_{ij}\), depending on both training domain \(i\) and validation domain \(j\), shows the interaction between them. A negative \(t_{ij}\) indicates that training data of domain \(j\) helps reduce validation loss on domain \(i\) and vice versa. Besides, rewriting the coefficient \(k_{i}\) into \(\exp(\log k_{i})\) makes it a bias term on the exponent which adjusts the aggregate effect of all training domains.
보다 직관적인 이해를 돕기 위해 식 7의 계수의 의미에 대해 설명합니다. 일반적으로 \(k_{i}>0\)이므로 지수 항은 항상 양수이며 예측 Loss는 상수 \(c\)보다 엄격하게 큽니다. 따라서 \(c_{i}\)는 데이터 혼합을 조정하여 줄일 수 없는 Loss를 나타냅니다. 훈련 도메인 \(i\)와 유효성 검사 도메인 \(j\)에 모두 의존하는 \(t_{ij}\)는 두 도메인 간의 상호 작용을 나타냅니다. 음수 \(t_{ij}\)는 도메인 \(j\)의 훈련 데이터가 도메인 \(i\)의 유효성 검사 Loss를 줄이는 데 도움이 되고 그 반대의 경우도 마찬가지임을 나타냅니다. 또한 계수 \(k_{i}\)를 \(\exp(\log k_{i})\)로 다시 작성하면 모든 훈련 도메인의 종합적인 효과를 조정하는 지수의 바이어스 항이 됩니다.
보다 직관적인 이해를 돕기 위해 식 7의 계수의 의미에 대해 설명합니다. 일반적으로 \(k_{i}>0\)이므로 지수 항은 항상 양수이며 예측 손실은 상수 \(c\)보다 엄격하게 큽니다. 따라서 \(c_{i}\)는 데이터 혼합을 조정하여 줄일 수 없는 손실을 나타냅니다. 훈련 도메인 \(i\)와 유효성 검사 도메인 \(j\)에 모두 의존하는 \(t_{ij}\)는 두 도메인 간의 상호 작용을 나타냅니다. 음수 \(t_{ij}\)는 도메인 \(j\)의 훈련 데이터가 도메인 \(i\)의 유효성 검사 손실을 줄이는 데 도움이 되고 그 반대의 경우도 마찬가지임을 나타냅니다. 또한 계수 \(k_{i}\)를 \(\exp(\log k_{i})\)로 다시 작성하면 모든 훈련 도메인의 종합적인 효과를 조정하는 지수의 바이어스 항이 됩니다.