Code.Different from Math, synthetic data for code reasoning can naturally combine the execution results with structured code, as one requirement of correct code is being executable. In coding-enhanced models, CodeRL (Le et al., 2022) presents an actor-critic approach to improve pretrained language models with feedback signals on synthetic code samples. Haluptzok et al. (2022) propose a self-improvement strategy where the models generate their own synthetic puzzle-solution pairs. These pairs are then verified and filtered by a real interpreter before being used to finetune language models. Shypula et al. (2023) further propose a framework that leverages a simulated environment and adaptation strategies like self-improvement synthetic data generation and CoT prompting for code optimization. Yang et al. (2024) developed InterCode, a framework designed to enhance interactive code generation within a reinforcement learning environment, where code serves as actions and execution feedback serves as observations. Reflexion (Shinn et al., 2024) employs external or internally simulated linguistic feedback signals to improve the code reasoning capabilities of language models. Regarding synthetic SFT data, Code Alpaca comprises a dataset of 20K code instructions automatically generated by applying SELF-INSTRUCT (Wang et al., 2022) to ChatGPT across 21 seed tasks. WizardCoder (Luo et al., 2023) introduces Code Evol-Instruct to guide ChatGPT with heuristicprompts to enhance the complexity and diversity of synthetic data. Meanwhile, Magicoder (Wei et al., 2023c) developed OSS-INSTRUCT, which generates 75K diverse synthetic instruction samples from open-source code snippets.
코드. 수학과 달리 코드 추론을 위한 synthetic data는 올바른 코드의 한 가지 요구 사항인 실행 결과를 구조화된 코드와 자연스럽게 결합할 수 있습니다. 코딩 강화 모델에서 CodeRL(Le et al., 2022)은 synthetic code 샘플에 대한 피드백 신호로 사전 학습된 언어 모델을 개선하기 위한 actor-critic 접근 방식을 제시합니다. Haluptzok et al.(2022)은 모델이 자체적으로 synthetic puzzle-solution 쌍을 생성하는 self-improvement 전략을 제안합니다. 이러한 쌍은 실제 인터프리터에 의해 검증 및 필터링된 후 언어 모델을 Fine-tuning하는 데 사용됩니다. Shypula et al.(2023)은 코드 최적화를 위해 시뮬레이션 환경과 self-improvement synthetic data generation 및 CoT prompting과 같은 적응 전략을 활용하는 프레임워크를 더욱 제안합니다. Yang et al.(2024)은 reinforcement learning 환경 내에서 대화형 코드 생성을 향상시키기 위해 설계된 프레임워크인 InterCode를 개발했으며, 여기서 코드는 액션으로, 실행 피드백은 관찰로 사용됩니다. Reflexion(Shinn et al., 2024)은 외부 또는 내부적으로 시뮬레이션된 언어 피드백 신호를 사용하여 언어 모델의 코드 추론 기능을 개선합니다. synthetic SFT 데이터와 관련하여 Code Alpaca는 21개의 시드 작업에 걸쳐 ChatGPT에 SELF-INSTRUCT(Wang et al., 2022)를 적용하여 자동으로 생성된 20,000개의 코드 명령어로 구성된 데이터 세트로 구성됩니다. WizardCoder(Luo et al., 2023)는 synthetic data의 복잡성과 다양성을 향상시키기 위해 heuristic prompts로 ChatGPT를 안내하는 Code Evol-Instruct를 소개합니다. 한편, Magicoder(Wei et al., 2023c)는 오픈 소스 코드 스니펫에서 75,000개의 다양한 synthetic instruction 샘플을 생성하는 OSS-INSTRUCT를 개발했습니다.
코드. 수학과 달리 코드 추론을 위한 합성 데이터는 올바른 코드의 한 가지 요구 사항인 실행 결과를 구조화된 코드와 자연스럽게 결합할 수 있습니다. 코딩 강화 모델에서 CodeRL(Le et al., 2022)은 합성 코드 샘플에 대한 피드백 신호로 사전 학습된 언어 모델을 개선하기 위한 액터-비평가 접근 방식을 제시합니다. Haluptzok et al.(2022)은 모델이 자체적으로 합성 퍼즐-해결 쌍을 생성하는 자체 개선 전략을 제안합니다. 이러한 쌍은 실제 인터프리터에 의해 검증 및 필터링된 후 언어 모델을 미세 조정하는 데 사용됩니다. Shypula et al.(2023)은 코드 최적화를 위해 시뮬레이션 환경과 자체 개선 합성 데이터 생성 및 CoT 프롬프트와 같은 적응 전략을 활용하는 프레임워크를 더욱 제안합니다. Yang et al.(2024)은 강화 학습 환경 내에서 대화형 코드 생성을 향상시키기 위해 설계된 프레임워크인 InterCode를 개발했으며, 여기서 코드는 액션으로, 실행 피드백은 관찰로 사용됩니다. Reflexion(Shinn et al., 2024)은 외부 또는 내부적으로 시뮬레이션된 언어 피드백 신호를 사용하여 언어 모델의 코드 추론 기능을 개선합니다. 합성 SFT 데이터와 관련하여 Code Alpaca는 21개의 시드 작업에 걸쳐 ChatGPT에 SELF-INSTRUCT(Wang et al., 2022)를 적용하여 자동으로 생성된 20,000개의 코드 명령어로 구성된 데이터 세트로 구성됩니다. WizardCoder(Luo et al., 2023)는 합성 데이터의 복잡성과 다양성을 향상시키기 위해 휴리스틱 프롬프트로 ChatGPT를 안내하는 Code Evol-Instruct를 소개합니다. 한편, Magicoder(Wei et al., 2023c)는 오픈 소스 코드 스니펫에서 75,000개의 다양한 합성 명령어 샘플을 생성하는 OSS-INSTRUCT를 개발했습니다.