Faced with both opportunities and challenges, it needs more attention on the research and development of LLMs. Inorder to provide a basic understanding of LLMs, this survey conducts a literature review of the recent advances in LLMs from four major aspects, including _pre-training_ (how to pre-train a capable LLM), _adaptation_ (how to effectively adapt pre-trained LLMs for better use), _utilization_ (how to use LLMs for solving various downstream tasks) and _capability evaluation_ (how to evaluate the abilities of LLMs and existing empirical findings). We thoroughly comb the literature and summarize the key findings, techniques, and methods of LLMs. For this survey, we also create a GitHub project website by collecting the supporting resources for LLMs, at the link [https://github.com/RUCAlBox/LLMSurvey](https://github.com/RUCAlBox/LLMSurvey). We are also aware of several related review articles on PLMs or LLMs [32, 36, 38, 39, 43, 48, 49, 50, 51, 52, 53, 54]. These papers either discuss PLMs or some specific (or general) aspects of LLMs. Compared with them, we focus on the techniques and methods to develop and use LLMs and provide a relatively comprehensive reference to important aspects of LLMs.
기회와 도전에 직면한 LLM의 연구 개발에 더 많은 attention이 필요합니다. 이 설문조사는 LLM에 대한 기본적인 이해를 돕기 위해 _pre-training_ (사전 학습 방법), _adaptation_ (사전 학습된 LLM을 더 효과적으로 사용하기 위한 방법), _utilization_ (다양한 다운스트림 작업을 해결하기 위해 LLM을 사용하는 방법), _capability evaluation_ (LLM의 능력과 기존 경험적 연구 결과를 평가하는 방법) 등 네 가지 주요 측면에서 최근 LLM의 발전에 대한 문헌 검토를 수행합니다. 저희는 문헌을 면밀히 검토하고 LLM의 주요 연구 결과, 기술 및 방법을 요약합니다. 또한 이 설문조사에서는 LLM에 대한 지원 리소스를 수집하여 GitHub 프로젝트 웹사이트를 만들었으며, 링크 [https://github.com/RUCAlBox/LLMSurvey](https://github.com/RUCAlBox/LLMSurvey)에서 확인할 수 있습니다. 또한 PLM 또는 LLM에 관한 몇 가지 관련 리뷰 기사 [32, 36, 38, 39, 43, 48, 49, 50, 51, 52, 53, 54]도 알고 있습니다. 이러한 논문은 PLM 또는 LLM의 특정(또는 일반적인) 측면을 논의합니다. 이와 비교하여, 우리는 LLM을 개발하고 사용하기 위한 기술과 방법에 초점을 맞추고 LLM의 중요한 측면에 대해 비교적 포괄적인 참고 자료를 제공합니다.
기회와 도전에 직면한 LLM의 연구 개발에 더 많은 관심이 필요합니다. 이 설문조사는 LLM에 대한 기본적인 이해를 돕기 위해 사전 학습(_사전 학습 방법), 적응(_사전 학습된 LLM을 더 효과적으로 사용하기 위한 방법), 활용(_다양한 다운스트림 작업을 해결하기 위해 LLM을 사용하는 방법), 능력 평가(_LLM의 능력과 기존 경험적 연구 결과를 평가하는 방법) 등 네 가지 주요 측면에서 최근 LLM의 발전에 대한 문헌 검토를 수행합니다. 저희는 문헌을 면밀히 검토하고 LLM의 주요 연구 결과, 기술 및 방법을 요약합니다. 또한 이 설문조사에서는 LLM에 대한 지원 리소스를 수집하여 GitHub 프로젝트 웹사이트를 만들었으며, 링크 [https://github.com/RUCAlBox/LLMSurvey](https://github.com/RUCAlBox/LLMSurvey)에서 확인할 수 있습니다. 또한 PLM 또는 LLM에 관한 몇 가지 관련 리뷰 기사 [32, 36, 38, 39, 43, 48, 49, 50, 51, 52, 53, 54]도 알고 있습니다. 이러한 논문은 PLM 또는 LLM의 특정(또는 일반적인) 측면을 논의합니다. 이와 비교하여, 우리는 LLM을 개발하고 사용하기 위한 기술과 방법에 초점을 맞추고 LLM의 중요한 측면에 대해 비교적 포괄적인 참고 자료를 제공합니다.