We want to highlight that the discrepancy of the performances among the CKL methods between encoder-decoder LM (T5) and decoder-only LM (GPT-2) may not solely be on the LM architecture, but also on the learning rate and the evaluation method (light-tuning was used to evaluate GPT-2 while we evaluated T5 in a zero-shot manner). We leave further exploration of training ever-changing decoder-only LMs such as GPT-2 as future work.
인코더-디코더 LM(T5)과 디코더 전용 LM(GPT-2) 간의 CKL 방법의 성능 차이가 LM 아키텍처에만 있는 것이 아니라 Learning Rate와 평가 방법(GPT-2를 평가하기 위해 light-tuning을 사용한 반면 T5는 zero-shot 방식으로 평가)에도 있을 수 있다는 점을 강조하고 싶습니다. GPT-2와 같은 끊임없이 변화하는 디코더 전용 LM에 대한 추가 탐색은 향후 작업으로 남겨두고자 합니다.
인코더-디코더 LM(T5)과 디코더 전용 LM(GPT-2) 간의 CKL 방법의 성능 차이가 LM 아키텍처에만 있는 것이 아니라 학습 속도와 평가 방법(GPT-2를 평가하기 위해 가벼운 튜닝을 사용한 반면 T5는 제로 샷 방식으로 평가)에도 있을 수 있다는 점을 강조하고 싶습니다. GPT-2와 같은 끊임없이 변화하는 디코더 전용 LM에 대한 추가 탐색은 향후 작업으로 남겨두고자 합니다.