Recently, Large Language Models (LLMs) [1; 2; 3; 4; 5; 6; 7; 8; 9] have garnered significant attention and demonstrated impressive success. Notably, OpenAI's ChatGPT stands out as a prominent example. Leveraging extensive pre-training on vast amounts of internet data and further fine-tuning with detailed instruction data [10], these models have achieved state-of-the-art (SOTA) zero-shot performance across diverse tasks. This trend is also observed in the domain of code understanding and generation. Numerous Code LLMs [11; 12; 13; 14; 15; 16; 17; 18] have been proposed to tackle the challenges associated with code-related tasks. These Code LLMs undergo pre-training using substantial amounts of code data, enabling them to excel in various code-related tasks, showcasing impressive performance.
최근 들어 Large Language Models (LLMs) [1; 2; 3; 4; 5; 6; 7; 8; 9]이 큰 주목을 받고 있으며 인상적인 성과를 보여주고 있습니다. 특히 OpenAI의 ChatGPT가 대표적인 예로 꼽힙니다. 방대한 양의 인터넷 데이터에 대한 광범위한 사전 학습과 상세한 instruction data [10]를 통해 추가 Fine-tuning을 통해 이러한 모델은 다양한 작업에서 state-of-the-art (SOTA) zero-shot 성능을 달성했습니다. 이러한 추세는 코드 이해 및 생성 영역에서도 관찰됩니다. 수많은 Code LLMs [11; 12; 13; 14; 15; 16; 17; 18]이 코드 관련 작업과 관련된 문제를 해결하기 위해 제안되었습니다. 이러한 Code LLMs은 상당한 양의 코드 데이터를 사용하여 사전 학습을 거치므로 다양한 코드 관련 작업에서 뛰어난 성능을 보여주며 인상적인 성과를 보여줍니다.
최근 들어 대규모 언어 모델(LLM) [1; 2; 3; 4; 5; 6; 7; 8; 9]이 큰 주목을 받고 있으며 인상적인 성과를 보여주고 있습니다. 특히 OpenAI의 ChatGPT가 대표적인 예로 꼽힙니다. 방대한 양의 인터넷 데이터에 대한 광범위한 사전 학습과 상세한 지침 데이터 [10]를 통해 추가 미세 조정을 통해 이러한 모델은 다양한 작업에서 최첨단(SOTA) 제로 샷 성능을 달성했습니다. 이러한 추세는 코드 이해 및 생성 영역에서도 관찰됩니다. 코드 관련 작업과 관련된 문제를 해결하기 위해 수많은 코드 LLM [11; 12; 13; 14; 15; 16; 17; 18]이 제안되었습니다. 이러한 코드 LLM은 상당한 양의 코드 데이터를 사용하여 사전 학습을 거치므로 다양한 코드 관련 작업에서 뛰어난 성능을 보여주며 인상적인 성능을 보여줍니다.