A wide range of open-source large language models is available for the backbone, spanning from \(70\) million parameter models like Pythia Biderman et al. (2023) to \(180\) billion parameter models like Falcon Almazrouei et al. (2023). In this work, we choose the Mistral 7B model, a \(7\) billion parameter open-source model that achieves high performance across benchmarks and tasks Jiang et al. (2023).
7천만 파라미터 모델인 Pythia Biderman 등(2023)부터 1,800억 파라미터 모델인 Falcon Almazrouei 등(2023)에 이르기까지 다양한 오픈 소스 Large Language Models (LLMs)를 백본으로 사용할 수 있습니다. 이 연구에서는 벤치마크와 작업 전반에서 높은 성능을 달성하는 70억 파라미터 오픈 소스 모델인 Mistral 7B 모델을 선택했습니다(Jiang et al., 2023).
7천만 파라미터 모델인 Pythia Biderman 등(2023)부터 1,800억 파라미터 모델인 Falcon Almazrouei 등(2023)에 이르기까지 다양한 오픈 소스 대규모 언어 모델을 백본으로 사용할 수 있습니다. 이 연구에서는 벤치마크와 작업 전반에서 높은 성능을 달성하는 70억 파라미터 오픈 소스 모델인 Mistral 7B 모델을 선택했습니다(Jiang et al., 2023).