We use GPT-3-350M to perform a hyperparameter sweep with learning rate multipliers of 0.05, 0.1, 0.2, and 0.4 and batch sizes of 1, 2, 4, 8, and 16 via the OpenAI API.
OpenAI API를 통해 Learning Rate 배수 0.05, 0.1, 0.2, 0.4와 Batch Size 1, 2, 4, 8, 16의 하이퍼파라미터 스윕을 수행하기 위해 GPT-3-350M을 사용합니다.
OpenAI API를 통해 학습 속도 배수 0.05, 0.1, 0.2, 0.4와 배치 크기 1, 2, 4, 8, 16의 하이퍼파라미터 스윕을 수행하기 위해 GPT-3-350M을 사용합니다.