can predict the validation loss \(L_{i}\) on any of the training domains \(i\) accurately under a fixed model size and amount of training data, where \(r_{1\dots M}\) are the proportions of the \(M\) domains and \(c_{i},k_{i},t_{ij}\) are parameters to fit. Fitting such functions on all the evaluated domains and calculating the weighted sum according to their proportions in the validation data leads to the prediction of final validation loss. Further, treating the validation proportions as learnable parameters allows fitting the estimated losses on a validation set end-to-end without explicitly decomposing it into known domains.
고정된 모델 크기와 훈련 데이터 양에서 모든 훈련 도메인 \(i\)에서 validation loss \(L_{i}\)을 정확하게 예측할 수 있으며, 여기서 \(r_{1\dots M}\)은 \(M\) 도메인의 비율이고 \(c_{i},k_{i},t_{ij}\)는 맞출 수 있는 매개변수입니다. 평가된 모든 도메인에 대해 이러한 함수를 맞추고 validation 데이터에서 해당 비율에 따라 가중치 합계를 계산하면 최종 validation loss를 예측할 수 있습니다. 또한 validation 비율을 학습 가능한 매개변수로 처리하면 validation 집합을 명시적으로 알려진 집합으로 분해하지 않고도 최종 validation 집합에 대한 예상 손실을 맞출 수 있습니다.
고정된 모델 크기와 훈련 데이터 양에서 모든 훈련 도메인 \(i\)에서 유효성 검사 손실 \(L_{i}\)을 정확하게 예측할 수 있으며, 여기서 \(r_{1\점 M}\)은 \(M\) 도메인의 비율이고 \(c_{i},k_{i},t_{ij}\)는 맞출 수 있는 매개변수입니다. 평가된 모든 도메인에 대해 이러한 함수를 맞추고 유효성 검사 데이터에서 해당 비율에 따라 가중치 합계를 계산하면 최종 유효성 검사 손실을 예측할 수 있습니다. 또한 유효성 검사 비율을 학습 가능한 매개변수로 처리하면 유효성 검사 집합을 명시적으로 알려진 집합으로 분해하지 않고도 최종 유효성 검사 집합에 대한 예상 손실을 맞출 수 있습니다.