**LoRA**(Hu et al., 2021) falls into the category of parameter-expansion methods. It freezes the original parameters of the LM and adds trainable rank-decomposition matrices into each layer that are updated during continued pretraining. Hu et al. (2021) has implemented this approach with decoder-only models (GPT-2 (Radford et al., 2019) & GPT-3 (Brown et al., 2020)) while we apply it to an encoder-decoder model, denoting it as T5-LoRA.
**LoRA**(Hu et al., 2021)는 파라미터 확장 방법의 범주에 속합니다. 이 방법은 LM의 원래 파라미터를 동결하고 계속된 전처리 중에 업데이트되는 훈련 가능한 순위 분해 행렬을 각 레이어에 추가합니다. Hu et al. (2021)은 이 접근 방식을 Decoder 전용 모델(GPT-2(Radford et al., 2019) 및 GPT-3(Brown et al., 2020))로 구현한 반면, 저희는 Encoder-Decoder 모델에 적용하여 T5-LoRA로 표시합니다.
**LoRA**(Hu et al., 2021)는 파라미터 확장 방법의 범주에 속합니다. 이 방법은 LM의 원래 파라미터를 동결하고 계속된 전처리 중에 업데이트되는 훈련 가능한 순위 분해 행렬을 각 레이어에 추가합니다. Hu et al. (2021)은 이 접근 방식을 디코더 전용 모델(GPT-2(Radford et al., 2019) 및 GPT-3(Brown et al., 2020))로 구현한 반면, 저희는 인코더-디코더 모델에 적용하여 T5-LoRA로 표시합니다.