**CodeGen:** In [88], Nijkamp et al. trained and released a family of large language models up to 16.1B parameters, called CODEGEN, on natural language and programming language data, and open sourced the training library JAXFORMER. They showed the utility of the trained model by demonstrating that it is competitive with the previous state-of-the-art on zero-shot Python code generation on HumanEval. They further investigated the multi-step paradigm for program synthesis, where a single program is factorized into multiple prompts specifying sub-problems. They also constructed an open benchmark, Multi-Turn Programming Benchmark (MTPB), consisting of 115 diverse problem sets that are factorized into multi-turn prompts.
**CodeGen:** Nijkamp 등은 자연어와 프로그래밍 언어 데이터에 대해 최대 16.1B 파라미터의 Large Language Models (LLMs) 계열인 CODEGEN을 훈련하고 공개했으며, 훈련 라이브러리인 JAXFORMER를 오픈 소스화했습니다. 이들은 학습된 모델이 HumanEval의 zero-shot Python code generation에서 이전의 최첨단 기술과 경쟁할 수 있음을 입증하여 모델의 유용성을 보여주었습니다. 또한 단일 프로그램을 하위 문제를 지정하는 여러 개의 prompts로 인수분해하는 프로그램 합성을 위한 multi-step 패러다임을 추가로 조사했습니다. 또한 multi-turn prompts로 인수분해된 115개의 다양한 문제 세트로 구성된 오픈 벤치마크인 Multi-Turn Programming Benchmark (MTPB)를 구축했습니다.
**CodeGen:** Nijkamp 등은 자연어와 프로그래밍 언어 데이터에 대해 최대 16.1B 파라미터의 대규모 언어 모델 계열인 CODEGEN을 훈련하고 공개했으며, 훈련 라이브러리인 JAXFORMER를 오픈 소스화했습니다. 이들은 학습된 모델이 HumanEval의 0샷 파이썬 코드 생성에서 이전의 최첨단 기술과 경쟁할 수 있음을 입증하여 모델의 유용성을 보여주었습니다. 또한 단일 프로그램을 하위 문제를 지정하는 여러 개의 프롬프트로 인수분해하는 프로그램 합성을 위한 다단계 패러다임을 추가로 조사했습니다. 또한 다중 턴 프롬프트로 인수분해된 115개의 다양한 문제 세트로 구성된 오픈 벤치마크인 다중 턴 프로그래밍 벤치마크(MTPB)를 구축했습니다.