**Parameter 3** (Figure 10).: When dealing with models of significantly different sizes for LoRA finetuning, it's necessary to adjust the LoRA rank sizes. In [3], the authors primarily used a rank \(r^{\prime}=128\) update for the embedding layer and ranks \(r=8\) or \(16\) for the query/value matrices, with their base model being either GPT2-12-12 or GPT2-12-20.
**Parameter 3** (그림 10).: LoRA Fine-tuning을 위해 상당히 다른 크기의 모델을 다루는 경우, LoRA rank 크기를 조정해야 합니다. [3]에서 저자들은 주로 임베딩 레이어에 대해서는 rank \(r^{\prime}=128\) 업데이트를, 쿼리/값 행렬에 대해서는 rank \(r=8\) 또는 \(16\)을 사용했으며, 기본 모델은 GPT2-12-12 또는 GPT2-12-20입니다.
**매개변수 3** (그림 10).: LoRA 미세 조정을 위해 상당히 다른 크기의 모델을 다루는 경우, LoRA 랭크 크기를 조정해야 합니다. [3]에서 저자들은 주로 임베딩 레이어에 대해서는 랭크 \(r^{\프라임}=128\) 업데이트를, 쿼리/값 행렬에 대해서는 랭크 \(r=8\) 또는 \(16\)을 사용했으며, 기본 모델은 GPT2-12-12 또는 GPT2-12-20입니다.