We fine-tuned three versions of FlanT5 (small, base, and large) (Chung et al., 2022) model. Our fine-tuning experiments encompassed both full parameter tuning and PEFT. Our focus was particularly on the QLoRA method (Dettmers et al., 2023), which is widely recognized for its approach of keeping the pre-trained model parameters fixed while incorporating trainable rank decomposition matrices into each layer of the Transformer architecture. Despite experimenting with various numbers of training epochs, we observed that the results plateaued after a certain point. Table 5 included presents our finalized hyperparameters for fine-tuning.
FlanT5(small, base, large)의 세 가지 버전(Chung et al., 2022) 모델을 Fine-tuning했습니다. Fine-tuning 실험에는 전체 파라미터 조정과 PEFT가 모두 포함되었습니다. 특히, 사전 학습된 모델 파라미터를 고정하고 Transformer 아키텍처의 각 레이어에 학습 가능한 순위 분해 행렬을 통합하는 접근 방식으로 널리 알려진 QLoRA 방법(Dettmers et al., 2023)에 중점을 두었습니다. 다양한 횟수의 훈련 에포크를 실험했지만, 어느 시점 이후에는 결과가 정체되는 것을 관찰했습니다. 표 5에 Fine-tuning을 위한 최종 하이퍼파라미터가 포함되어 있습니다.
FlanT5(소형, 베이스, 대형)의 세 가지 버전(Chung et al., 2022) 모델을 미세 조정했습니다. 미세 조정 실험에는 전체 파라미터 조정과 PEFT가 모두 포함되었습니다. 특히, 사전 학습된 모델 파라미터를 고정하고 트랜스포머 아키텍처의 각 레이어에 학습 가능한 순위 분해 행렬을 통합하는 접근 방식으로 널리 알려진 QLoRA 방법(Dettmers et al., 2023)에 중점을 두었습니다. 다양한 횟수의 훈련 에포크를 실험했지만, 어느 시점 이후에는 결과가 정체되는 것을 관찰했습니다. 표 5에 미세 조정을 위한 최종 하이퍼파라미터가 포함되어 있습니다.