Further, an empirical study [399] has been conducted to examine the effect of different tuning methods on language models. They compare four efficient tuning methods including serial adapter tuning [398], parallel adapter tuning [400, 410], and LoRA [145], on three open-source LLMs, namely GPT-J (6B), BLOOM (7.1B) and LLaMA (7B), for evaluation. Based on the experimental results on six math reasoning datasets, they show that these efficient-tuning methods under-perform the reference baseline GPT-3.5 on difficult tasks, while achieving a comparable performance on simple tasks. Overall, LoRA performs relatively well among these comparison methods, using significantly fewer trainable parameters.
또한 다양한 tuning 방법이 언어 모델에 미치는 영향을 조사하기 위한 실증 연구[399]가 수행되었습니다. 이 연구에서는 세 가지 오픈 소스 LLM(GPT-J(6B), BLOOM(7.1B), LLaMA(7B))에 대해 serial adapter tuning[398], parallel adapter tuning[400, 410], LoRA[145] 등 네 가지 효율적인 tuning 방법을 비교 평가했습니다. 6개의 수학 추론 데이터 세트에 대한 실험 결과를 바탕으로, 이들은 이러한 효율적인 tuning 방법이 어려운 과제에서는 기준 baseline인 GPT-3.5보다 성능이 떨어지는 반면, 간단한 과제에서는 비슷한 수준의 성능을 달성한다는 것을 보여주었습니다. 전반적으로 LoRA는 훈련 가능한 파라미터를 훨씬 적게 사용하면서 비교 방법 중에서 상대적으로 우수한 성능을 보였습니다.
또한 다양한 튜닝 방법이 언어 모델에 미치는 영향을 조사하기 위한 실증 연구[399]가 수행되었습니다. 이 연구에서는 세 가지 오픈 소스 LLM(GPT-J(6B), BLOOM(7.1B), LLaMA(7B))에 대해 직렬 어댑터 튜닝[398], 병렬 어댑터 튜닝[400, 410], LoRA[145] 등 네 가지 효율적인 튜닝 방법을 비교 평가했습니다. 6개의 수학 추론 데이터 세트에 대한 실험 결과를 바탕으로, 이들은 이러한 효율적인 튜닝 방법이 어려운 과제에서는 기준 기준선인 GPT-3.5보다 성능이 떨어지는 반면, 간단한 과제에서는 비슷한 수준의 성능을 달성한다는 것을 보여주었습니다. 전반적으로 LoRA는 훈련 가능한 파라미터를 훨씬 적게 사용하면서 비교 방법 중에서 상대적으로 우수한 성능을 보였습니다.