As foundational architectures, we opt for SOLAR-10.7B (Kim et al., 2023) and Phi-2 (Li et al., 2023), because both have shown outstanding performances among similar sizes of LLMs. This choice of foundational architectures aligns with our strategic training objectives, leveraging their proven strengths to ensure our new models achieve similar levels of language understanding and reasoning capabilities in Korean.
기본 아키텍처로는 SOLAR-10.7B (Kim et al., 2023)와 Phi-2 (Li et al., 2023)를 선택했습니다. 이 두 모델은 유사한 크기의 LLM들 중에서 뛰어난 성능을 보여주었기 때문입니다. 이러한 기본 아키텍처 선택은 우리의 전략적 훈련 목표와 일치하며, 이들의 입증된 강점을 활용하여 새로운 모델들이 한국어에서 유사한 수준의 언어 이해 및 추론 능력을 달성할 수 있도록 합니다.
기본 아키텍처로는 SOLAR-10.7B(Kim et al., 2023)와 Phi-2(Li et al., 2023)를 선택했는데, 이 두 모델은 비슷한 크기의 LLM 중에서 뛰어난 성능을 보여줬기 때문입니다. 이러한 기본 아키텍처의 선택은 한국어에서도 새로운 모델이 비슷한 수준의 언어 이해 및 추론 기능을 달성할 수 있도록 입증된 강점을 활용하여 전략적 훈련 목표에 부합하는 것입니다.