One notable limitation arises from the resource-intensive nature of continual pre-training LLMs, making reproducing all the straightforward continual pre-training methods outlined in this work challenging. Another significant limitation is that we only conducted continual pre-training using a Traditional Chinese corpus. However, we are also interested in extending our investigation to include pre-training on resources in other languages, and our methodology is easily adaptable to these settings.
한 가지 주목할 만한 한계는 지속적인 pre-training LLM의 자원 집약적인 특성으로 인해 이 작업에서 설명한 모든 간단한 지속적인 pre-training 방법을 재현하기 어렵다는 것입니다. 또 다른 중요한 한계는 Traditional Chinese corpus를 사용하여 지속적인 pre-training을 수행했기 때문입니다. 그러나 우리는 다른 언어의 리소스에 대한 pre-training도 포함하도록 조사를 확장하는 데 관심이 있으며, 우리의 methodology는 이러한 설정에 쉽게 적용할 수 있습니다.
한 가지 주목할 만한 한계는 지속적인 사전 학습 LLM의 자원 집약적인 특성으로 인해 이 작업에서 설명한 모든 간단한 지속적인 사전 학습 방법을 재현하기 어렵다는 것입니다. 또 다른 중요한 한계는 중국어 말뭉치를 사용하여 지속적인 사전 학습을 수행했기 때문입니다. 그러나 우리는 다른 언어의 리소스에 대한 사전 학습도 포함하도록 조사를 확장하는 데 관심이 있으며, 우리의 방법론은 이러한 설정에 쉽게 적용할 수 있습니다.