Like Alpaca and Vicuna, the Guanaco models [63] are also finetuned LLaMA models using instruction-following data. But the finetuning is done very efficiently using QLoRA such that finetuning a 65B parameter model can be done on a single 48GB GPU. QLoRA back-propagates gradients through a frozen, 4-bit quantized pre-trained language model into Low Rank Adapters (LoRA). The best Guanaco model outperforms all previously released models on the Vicuna benchmark, reaching 99.3% of the performance level of ChatGPT while only requiring 24 hours of fine-tuning on a single GPU.
구아나코 모델[63]도 명령어 추종 데이터를 사용하여 Fine-tuning된 LLaMA 모델입니다. 그러나 Fine-tuning은 QLoRA를 사용하여 매우 효율적으로 수행되며, 65B 파라미터 모델을 단일 48GB GPU에서 Fine-tuning할 수 있습니다. QLoRA는 4비트 Quantized 사전 학습된 언어 모델을 동결된 상태로 유지하면서 그라디언트를 역전파하여 Low Rank Adapters (LoRA)로 전달합니다. 가장 우수한 구아나코 모델은 비쿠나 벤치마크에서 이전에 출시된 모든 모델을 능가하여 단일 GPU에서 24시간만 Fine-tuning하면 ChatGPT의 성능 수준인 99.3%에 도달합니다.
알파카와 비쿠나와 마찬가지로, 구아나코 모델[63]도 명령어 추종 데이터를 사용하여 미세 조정된 LLaMA 모델입니다. 그러나 파라미터가 65B인 모델을 48GB GPU 한 대에서 미세 조정할 수 있도록 QLoRA를 사용하여 매우 효율적으로 미세 조정합니다. QLoRA는 4비트 양자화된 사전 학습된 언어 모델을 4비트 양자화한 상태로 유지하면서 그라디언트를 역전파하여 저랭도 어댑터(LoRA)로 전달합니다. 가장 우수한 구아나코 모델은 비쿠나 벤치마크에서 이전에 출시된 모든 모델을 능가하여 단일 GPU에서 24시간만 미세 조정하면 ChatGPT의 성능 수준인 99.3%에 도달합니다.