On theoretical understandings.Our data mixing laws, similar to most scaling laws, are empirical findings. We believe a theoretical understanding of the training dynamics that form the laws provides a more solid justification. A potential perspective is understanding the target of tuning mixture proportion through gradient estimation (Guo et al., 2024; Guet al., 2024). Specifically, the mixture proportions weight data from different domains, whose effect boils down to the weight for the linear combination of gradients from different domains during training. This perspective turns the target of tuning mixture proportions into finding an ideal gradient direction (Gu et al., 2024) and the relationship between data samples is formalized with their gradient directions (Guo et al., 2024).
이론적 이해에 관해서는. 대부분의 scaling laws와 유사한 데이터 혼합 법칙은 경험적 결과입니다. 우리는 이 법칙을 형성하는 훈련 역학에 대한 이론적 이해가 더 확실한 근거를 제공한다고 믿습니다. 잠재적인 관점은 gradient estimation을 통해 tuning 혼합 비율의 대상을 이해하는 것입니다(Guo et al., 2024; Guet al., 2024). 구체적으로, 혼합 비율은 서로 다른 도메인의 데이터에 가중치를 부여하며, 그 효과는 훈련 중에 서로 다른 도메인의 gradient 선형 조합에 대한 가중치로 귀결됩니다. 이 관점에서는 혼합 비율을 조정하는 대상을 이상적인 gradient 방향(Gu et al., 2024)을 찾는 것으로 바꾸고 데이터 샘플 간의 관계를 gradient 방향으로 공식화합니다(Guo et al., 2024).
이론적 이해에 관해서는. 대부분의 스케일링 법칙과 유사한 데이터 혼합 법칙은 경험적 결과입니다. 우리는 이 법칙을 형성하는 훈련 역학에 대한 이론적 이해가 더 확실한 근거를 제공한다고 믿습니다. 잠재적인 관점은 경사 추정을 통해 튜닝 혼합 비율의 대상을 이해하는 것입니다(Guo et al., 2024; Guet al., 2024). 구체적으로, 혼합 비율은 서로 다른 도메인의 데이터에 가중치를 부여하며, 그 효과는 훈련 중에 서로 다른 도메인의 기울기 선형 조합에 대한 가중치로 귀결됩니다. 이 관점에서는 혼합 비율을 조정하는 대상을 이상적인 기울기 방향(Gu et al., 2024)을 찾는 것으로 바꾸고 데이터 샘플 간의 관계를 기울기 방향으로 공식화합니다(Guo et al., 2024).