**StarCoder:** In [97], Li et al. introduced StarCoder and StarCoderBase. They are 15.5B parameter models with 8K context length, infilling capabilities and fast large-batch inference enabled by multi-query attention. StarCoderBase is trained on one trillion tokens sourced from The Stack, a large collection of permissively licensed GitHub repositories with inspection tools and an opt-out process. They fine-tuned StarCoderBase on 35B Python tokens, resulting in the creation of StarCoder. They performed the most comprehensive evaluation of Code LLMs to date and showed that StarCoderBase outperforms every open Code LLM that supports multiple programming languages and matches or outperforms the OpenAI code-cushman-001 model.
**StarCoder:** [97]에서 Li 등은 StarCoder와 StarCoderBase를 소개했습니다. 이 모델은 8K context 길이, 채우기 기능, multi-query attention을 통해 가능한 빠른 대용량 배치 추론이 가능한 15.5B parameter 모델입니다. StarCoderBase는 검사 도구와 opt-out 프로세스가 있는 허가 라이선스로 제공되는 대규모 GitHub 리포지토리 모음인 The Stack에서 가져온 1조 tokens으로 학습되었습니다. 이들은 35B Python tokens에 대해 StarCoderBase를 Fine-tuning하여 StarCoder를 만들었습니다. 이들은 현재까지 가장 포괄적인 코드 LLM 평가를 수행하여 StarCoderBase가 여러 프로그래밍 언어를 지원하는 모든 오픈 코드 LLM보다 뛰어난 성능을 발휘하며 OpenAI code-cushman-001 모델과 동등하거나 뛰어난 성능을 발휘한다는 것을 보여주었습니다.
**StarCoder:** [97]에서 Li 등은 StarCoder와 StarCoderBase를 소개했습니다. 이 모델은 8K 컨텍스트 길이, 채우기 기능, 다중 쿼리 주의를 통해 가능한 빠른 대용량 배치 추론이 가능한 15.5B 파라미터 모델입니다. StarCoderBase는 검사 도구와 옵트아웃 프로세스가 있는 허가 라이선스로 제공되는 대규모 GitHub 리포지토리 모음인 The Stack에서 가져온 1조 토큰으로 학습되었습니다. 이들은 350억 개의 파이썬 토큰에 대해 StarCoderBase를 미세 조정하여 StarCoder를 만들었습니다. 이들은 현재까지 가장 포괄적인 코드 LLM 평가를 수행하여 StarCoderBase가 여러 프로그래밍 언어를 지원하는 모든 오픈 코드 LLM보다 뛰어난 성능을 발휘하며 OpenAI 코드-커맨-001 모델과 동등하거나 뛰어난 성능을 발휘한다는 것을 보여주었습니다.