Inspired by this perspective, we attribute the successful fitting of mixture law to two aspects. First, the MLP with a sufficiently large hidden dimension is a universal approximator (Hornik et al., 1989) thus being able to fit the relationships between losses and mixture proportions. Second, the mixture proportions are bounded between 0 and 1. For this reason, predicting an unseen mixture is an interpolation problem, which is usually easier than extrapolation.
이 관점에서 영감을 받아 혼합 법칙의 성공적인 적합을 두 가지 측면에 기인한다고 생각합니다. 첫째, 숨겨진 차원이 충분히 큰 MLP는 보편적인 approximator (Hornik et al., 1989)이므로 Loss와 혼합 비율 간의 관계를 맞출 수 있습니다. 둘째, 혼합 비율은 0과 1 사이의 경계가 있습니다. 이러한 이유로 보이지 않는 혼합물을 예측하는 것은 일반적으로 외삽보다 쉬운 interpolation 문제입니다.
이 관점에서 영감을 받아 혼합 법칙의 성공적인 적합을 두 가지 측면에 기인한다고 생각합니다. 첫째, 숨겨진 차원이 충분히 큰 MLP는 보편적인 근사치(Hornik et al., 1989)이므로 손실과 혼합 비율 간의 관계를 맞출 수 있습니다. 둘째, 혼합 비율은 0과 1 사이의 경계가 있습니다. 이러한 이유로 보이지 않는 혼합물을 예측하는 것은 일반적으로 외삽보다 쉬운 보간 문제입니다.