Overall, the dataset contains 30 facts about celebrities. Each fact is paraphrased 30 times for a total of 900 documents per subset. Further details can be found in Appendix B. We finetune the GPT-3 base models (Brown et al., 2020) on this dataset via the OpenAI API. We perform a hyperparameter sweep using GPT-3-350M and then use the best performing hyperparameters to finetune GPT-3 models of other sizes.
전체적으로 데이터 세트에는 유명인에 대한 30개의 사실이 포함되어 있습니다. 각 사실은 하위 집합당 총 900개의 문서에 대해 30번씩 의역됩니다. 자세한 내용은 부록 B에서 확인할 수 있습니다. 이 데이터 세트에 대해 OpenAI API를 통해 GPT-3 기본 모델(Brown et al., 2020)을 Fine-tuning합니다. GPT-3-350M을 사용하여 하이퍼파라미터 스윕을 수행한 다음, 가장 성능이 좋은 하이퍼파라미터를 사용하여 다른 크기의 GPT-3 모델을 Fine-tuning합니다.
전체적으로 데이터 세트에는 유명인에 대한 30개의 사실이 포함되어 있습니다. 각 사실은 하위 집합당 총 900개의 문서에 대해 30번씩 의역됩니다. 자세한 내용은 부록 B에서 확인할 수 있습니다. 이 데이터 세트에 대해 OpenAI API를 통해 GPT-3 기본 모델(Brown et al., 2020)을 미세 조정합니다. GPT-3-350M을 사용하여 하이퍼파라미터 스윕을 수행한 다음, 가장 성능이 좋은 하이퍼파라미터를 사용하여 다른 크기의 GPT-3 모델을 미세 조정합니다.