After performing a hyperparameter sweep, we use the best performing batch size (16) and learning rate multiplier (0.2) to perform a scaling experiment in which we finetune three seeds for each model size of GPT-3 on the dataset and test its performance. We used these models to obtain the results in Figure 4.
하이퍼파라미터 스윕을 수행한 후 가장 성능이 좋은 Batch Size(16)와 Learning Rate 배수(0.2)를 사용하여 데이터 세트의 각 모델 크기 GPT-3에 대해 세 개의 시드를 Fine-tuning하고 그 성능을 테스트하는 스케일링 실험을 수행합니다. 이 모델을 사용하여 그림 4의 결과를 얻었습니다.
하이퍼파라미터 스윕을 수행한 후 가장 성능이 좋은 배치 크기(16)와 학습 속도 배수(0.2)를 사용하여 데이터 세트의 각 모델 크기 GPT-3에 대해 세 개의 시드를 미세 조정하고 그 성능을 테스트하는 스케일링 실험을 수행합니다. 이 모델을 사용하여 그림 4의 결과를 얻었습니다.