Unlike T5 models, GPT-2 based models need additional _light-tuning_ for 1 epoch for evaluation. For InvariantLAMA, the input and output length is 50 and 3 respectively. The training batch size is 32 and the learning rate is 1e-3. For evaluation on the acquisition of new knowledge, the input and output length is 100 and 10 respectively. The training batch size is 8 due to memory constraints and the learning rate is 1e-3. For both tuning processes, 4 V100 32GB GPUs are used. The detailed result and discussion of GPT-2 based models are shown in Appendix G.
T5 모델과 달리 GPT-2 기반 모델은 평가를 위해 1 epoch 동안 추가적인 _light-tuning_이 필요합니다. InvariantLAMA의 경우 입력 및 출력 길이는 각각 50과 3입니다. Training batch size는 32이고 learning rate는 1e-3입니다. 새로운 지식 습득에 대한 평가의 경우 입력 및 출력 길이는 각각 100과 10입니다. 메모리 제약으로 인해 training batch size는 8이고 learning rate는 1e-3입니다. 두 tuning 프로세스 모두에 4개의 V100 32GB GPU가 사용됩니다. GPT-2 기반 모델에 대한 자세한 결과와 논의는 부록 G에 나와 있습니다.
T5 모델과 달리 GPT-2 기반 모델은 평가를 위해 1에포크 동안 추가적인 _라이트 튜닝_이 필요합니다. InvariantLAMA의 경우 입력 및 출력 길이는 각각 50과 3입니다. 훈련 배치 크기는 32이고 학습 속도는 1e-3입니다. 새로운 지식 습득에 대한 평가의 경우 입력 및 출력 길이는 각각 100과 10입니다. 메모리 제약으로 인해 훈련 배치 크기는 8이고 학습 속도는 1e-3입니다. 두 튜닝 프로세스 모두에 4개의 V100 32GB GPU가 사용됩니다. GPT-2 기반 모델에 대한 자세한 결과와 논의는 부록 G에 나와 있습니다.