The mixture law boils down to a computation graph in Fig. 10, which contains two layers. The first layers predict the domain losses, while the second sums up the domain losses to obtain the overall validation loss. In this way, the mixture law becomes a multilayer perception (MLP) with an exponential activation function. In practice, we fit the mixture laws with implicit domain aggregation by fitting a multilayer perception with exponential activation and applying softmax to the output layer weights. Additionally, considering the high variance of MLP, we further employ AdaBoost Regressor (Drucker, 1997) for fitting the mixture laws to stabilize the predictions and improve their accuracy.
혼합 법칙은 두 개의 레이어로 구성된 Fig. 10의 계산 그래프로 귀결됩니다. 첫 번째 레이어는 도메인 Loss를 예측하고, 두 번째 레이어는 도메인 Loss를 합산하여 전체 validation Loss를 얻습니다. 이러한 방식으로 혼합 법칙은 지수 활성화 함수를 가진 Multilayer Perceptron (MLP)이 됩니다. 실제로 우리는 지수 활성화 기능이 있는 Multilayer Perceptron을 맞추고 출력 레이어 가중치에 softmax를 적용하여 암시적 도메인 집계로 혼합 법칙을 맞춥니다. 또한 MLP의 높은 분산을 고려하여 예측을 안정화하고 정확도를 향상시키기 위해 혼합 법칙을 맞추기 위해 AdaBoost Regressor (Drucker, 1997)를 추가로 사용합니다.
혼합 법칙은 두 개의 레이어로 구성된 Fig. 10의 계산 그래프로 귀결됩니다. 첫 번째 레이어는 도메인 손실을 예측하고, 두 번째 레이어는 도메인 손실을 합산하여 전체 유효성 검사 손실을 얻습니다. 이러한 방식으로 혼합 법칙은 지수 활성화 함수를 가진 다층 인식(MLP)이 됩니다. 실제로 우리는 지수 활성화 기능이 있는 다층 인식을 맞추고 출력 레이어 가중치에 소프트맥스를 적용하여 암시적 도메인 집계로 혼합 법칙을 맞춥니다. 또한 MLP의 높은 분산을 고려하여 예측을 안정화하고 정확도를 향상시키기 위해 혼합 법칙을 맞추기 위해 AdaBoost 회귀 분석(Drucker, 1997)을 추가로 사용합니다.