The choice of architecture and pre-training tasks may incur different inductive biases for LLMs, which would lead to different model capacities. In this part, we discuss one open issue about the architecture choice for LLMs.
아키텍처와 사전 학습 작업의 선택은 LLM에 대해 서로 다른 귀납적 편향을 초래할 수 있으며, 이는 서로 다른 모델 용량으로 이어질 수 있습니다. 이 부분에서는 LLM의 아키텍처 선택에 관한 하나의 미해결 문제를 논의합니다.
아키텍처와 사전 학습 작업의 선택은 LLM에 대해 서로 다른 귀납적 편향을 초래할 수 있으며, 이는 서로 다른 모델 용량으로 이어질 수 있습니다. 이 부분에서는 LLM의 아키텍처 선택에 대한 한 가지 공개된 문제에 대해 논의합니다.