Implicit domain aggregation.A remaining limitation is that we still need to acquire the components of validation data \(s_{1\dots K}\) in advance. This can be inconvenient if the validation set is collected separately from the training ones. For instance, the validation data may come from real-world user queries that cover unknown compositions of various domains. To remove the constraint on validation components, we assume that we can decompose the validation data into \(K\) implicit domains whose losses are predictable with Eqn. 7, and we treat their proportions in the validation data \(s_{1\dots K}\) as learnable parameters. This leads to the final form of our data mixing laws6. With this perspective, we fit a data mixing law with the overall losses end to end.
암시적 도메인 집계. 나머지 한계는 여전히 validation 데이터 \(s_{1\dots K}\)의 구성 요소를 사전에 획득해야 한다는 것입니다. 이는 validation 세트가 학습 세트와 별도로 수집되는 경우 불편할 수 있습니다. 예를 들어, validation 데이터는 다양한 도메인의 알려지지 않은 구성을 포함하는 실제 사용자 쿼리에서 나올 수 있습니다. validation 구성 요소에 대한 제약을 제거하기 위해 validation 데이터를 식 7로 손실을 예측할 수 있는 \(K\) 개의 암시적 도메인으로 분해하고, validation 데이터 \(s_{1\dots K}\)에서 그 비율을 학습 가능한 매개변수로 취급한다고 가정합니다. 이를 통해 데이터 믹싱 법칙의 최종 형태를 구할 수 있습니다. 이 관점에서 전체 손실을 종단 간에 데이터 믹싱 법칙에 맞춥니다.
암시적 도메인 집계.나머지 한계는 여전히 유효성 검사 데이터 \(s_{1\점 K}\)의 구성 요소를 사전에 획득해야 한다는 것입니다. 이는 유효성 검사 세트가 학습 세트와 별도로 수집되는 경우 불편할 수 있습니다. 예를 들어, 유효성 검사 데이터는 다양한 도메인의 알려지지 않은 구성을 포함하는 실제 사용자 쿼리에서 나올 수 있습니다. 유효성 검사 구성 요소에 대한 제약을 제거하기 위해 유효성 검사 데이터를 식 7로 손실을 예측할 수 있는 \(K\) 개의 암시적 도메인으로 분해하고, 유효성 검사 데이터 \(s_{1\점 K}\)에서 그 비율을 학습 가능한 매개변수로 취급한다고 가정합니다. 이를 통해 데이터 믹싱 법칙6의 최종 형태를 구할 수 있습니다. 이 관점에서 전체 손실을 종단 간에 데이터 믹싱 법칙에 맞춥니다.