\(\bullet\)_Training on code data._ A major limitation of the original GPT-3 model (pre-trained on plain text) lies in the lack of the reasoning ability on complex tasks, _e.g._, completing the code and solving math problems. To enhance this ability, Codex [105] was introduced by OpenAI in July 2021, which was a GPT model fine-tuned on a large corpus of GitHub code. It demonstrated that Codex can solve very difficult programming problems, and also lead to a significant performance improvement in solving math problems [126]. Further, a contrastive approach [127] to training text and code embedding was reported in January 2022, which was shown to improve a series of related tasks (_i.e._, linear-probe classification, text search and code search). Actually, the GPT-3.5 models are developed based on a code-based GPT model (_i.e._, code-davinci-002), which indicates that training on code data is a very useful practice to improve the model capacity of GPT models, especially the reasoning ability. Furthermore, there is also a speculation that training on code data can greatly increase the chain-of-thought prompting abilities of LLMs [47], while it is still worth further investigation with more thorough verification.
\(\bullet\)_코드 데이터에 대한 훈련._ 원래 GPT-3 모델(일반 텍스트로 사전 학습)의 주요 한계는 복잡한 작업, _예를 들어 코드 완성 및 수학 문제 해결과 같은 추론 능력이 부족하다는 것입니다. 이러한 능력을 향상시키기 위해 2021년 7월에 OpenAI에서 GitHub 코드의 대규모 말뭉치에 대해 Fine-tuning한 GPT 모델인 Codex [105]를 도입했습니다. Codex가 매우 어려운 프로그래밍 문제를 해결할 수 있음을 입증했으며, 수학 문제 해결에서도 상당한 성능 향상을 이끌어냈습니다[126]. 또한 2022년 1월에는 텍스트와 코드 임베딩을 훈련하는 대조적 접근 방식[127]이 보고되었으며, 이는 일련의 관련 작업(즉, 선형 프로브 분류, 텍스트 검색 및 코드 검색)을 개선하는 것으로 나타났습니다. 실제로 GPT-3.5 모델은 코드 기반 GPT 모델(_즉, code-davinci-002)을 기반으로 개발되었으며, 이는 코드 데이터에 대한 훈련이 특히 추론 능력과 같은 GPT 모델의 모델 용량을 향상시키는 데 매우 유용한 실습임을 나타냅니다. 또한 코드 데이터에 대한 훈련은 LLM의 chain-of-thought prompting 능력을 크게 향상시킬 수 있다는 추측도 있지만, 이는 아직 더 철저한 검증을 통해 추가 연구가 필요합니다.
\(\bullet\)_코드 데이터에 대한 훈련._ 원래 GPT-3 모델(일반 텍스트로 사전 학습)의 주요 한계는 복잡한 작업, _예를 들어 코드 완성 및 수학 문제 해결과 같은 추론 능력이 부족하다는 것입니다. 이러한 능력을 향상시키기 위해 2021년 7월에 OpenAI에서 GitHub 코드의 대규모 말뭉치에 대해 미세 조정한 GPT 모델인 Codex [105]를 도입했습니다. Codex가 매우 어려운 프로그래밍 문제를 해결할 수 있음을 입증했으며, 수학 문제 해결에서도 상당한 성능 향상을 이끌어냈습니다[126]. 또한 2022년 1월에는 텍스트와 코드 임베딩을 훈련하는 대조적 접근 방식[127]이 보고되었으며, 이는 일련의 관련 작업(즉, 선형 프로브 분류, 텍스트 검색 및 코드 검색)을 개선하는 것으로 나타났습니다. 실제로 GPT-3.5 모델은 코드 기반 GPT 모델(_즉, code-davinci-002)을 기반으로 개발되었으며, 이는 코드 데이터에 대한 훈련이 특히 추론 능력과 같은 GPT 모델의 모델 용량을 향상시키는 데 매우 유용한 실습임을 나타냅니다. 또한 코드 데이터에 대한 훈련은 LLM의 생각의 사슬 프롬프트 능력을 크게 향상시킬 수 있다는 추측도 있지만, 이는 아직 더 철저한 검증을 통해 추가 연구가 필요합니다.