Tolerance with HyperparametersIn our experiments, we find that given sufficient training data, hyperparameters such as batch size, learning rate, and learning rate scheduler influence the rate of convergence, yet do not impact the final converged loss as long as their values fall within a reasonable range. This finding aligns with previous research [15, 16, 17]. Therefore, in order to obtain these \(k\) data pointsof \((N_{0},L_{0}),\ldots,(N_{k-1},L_{k-1})\), there is no need to perform extensive hyperparameter tuning. Instead, it is enough to use a fixed set of hyperparameters for all the \(k\) models, provided that the model is trained with no repeated data until convergence.
하이퍼파라미터에 대한 허용 오차실험 결과, 충분한 학습 데이터가 주어지면 Batch Size, Learning Rate, Learning Rate Scheduler와 같은 하이퍼파라미터가 수렴 속도에 영향을 미치지만, 그 값이 합리적인 범위 내에 있는 한 최종 수렴 Loss에는 영향을 미치지 않는다는 것을 알 수 있었습니다. 이 결과는 이전 연구 [15, 16, 17]와 일치합니다. 따라서 이러한 \(k\) 데이터 포인트의 \((N_{0},L_{0}),\ldots,(N_{k-1},L_{k-1})\), 즉, 광범위한 하이퍼파라미터 튜닝을 수행할 필요가 없습니다. 대신, 모델이 수렴할 때까지 반복되는 데이터 없이 학습된다면 \(k\) 모델 모두에 대해 고정된 하이퍼파라미터 세트를 사용하면 충분합니다.
하이퍼파라미터에 대한 허용 오차실험 결과, 충분한 학습 데이터가 주어지면 배치 크기, 학습 속도, 학습 속도 스케줄러와 같은 하이퍼파라미터가 수렴 속도에 영향을 미치지만, 그 값이 합리적인 범위 내에 있는 한 최종 수렴 손실에는 영향을 미치지 않는다는 것을 알 수 있었습니다. 이 결과는 이전 연구 [15, 16, 17]와 일치합니다. 따라서 이러한 \(k\) 데이터 포인트의 \((N_{0},L_{0}),\ldots,(N_{k-1},L_{k-1})\), 즉, 광범위한 하이퍼파라미터 튜닝을 수행할 필요가 없습니다. 대신, 모델이 수렴할 때까지 반복되는 데이터 없이 학습된다면 \(k\) 모델 모두에 대해 고정된 하이퍼파라미터 세트를 사용하면 충분합니다.