**Model Architecture.** Due to the scalability and effectiveness, Transformer has become the de facto architecture for building LLMs. Various strategies have been proposed to improve the performance of this architecture, such as neural network configuration and scalable parallel training (see discussions in Section 4.2.2). However, Transformer still suffers from high training costs and slow inference rates. More efforts [251, 252] are still in need to develop improved model architectures for large-scale pre-training. Specially, system-level or hardware-level optimization (_e.g._, FlashAttention [284]) is worth more exploration to improve the efficiency of Transformer architectures. In addition, as an important basic capacity, existing LLMs typically maintain a long context window. For example, the most recent GPT-4 Turbo enables a long context of 128K tokens, and Claude 2.1 also supports the input up to 200K tokens. Although many efforts have been made to enhance the long context modeling ability of LLMs [264, 291], the resulting models still can't well process the information in the context window [299]. To address this issue, specific architecture adaptations or algorithms might be needed to enhance the modeling and utilization of long context information. Another worrying concern is that existing work mostly focuses on training LLMs with decoder-only Transformers. Despite the effectiveness, it severely limits the more wide, diverse explorations on alternative model architectures.
**Model Architecture.** Transformer는 확장성과 효율성으로 인해 LLM을 구축하는 데 사실상의 architecture가 되었습니다. 신경망 구성 및 확장 가능한 병렬 학습과 같은 다양한 전략이 이 architecture의 성능을 개선하기 위해 제안되었습니다(4.2.2절 참조). 그러나 Transformer는 여전히 높은 훈련 비용과 느린 추론 속도로 인해 어려움을 겪고 있습니다. 대규모 사전 학습을 위한 개선된 model architectures를 개발하기 위해서는 [251, 252] 더 많은 노력이 필요합니다. 특히, Transformer architecture의 효율성을 개선하기 위해서는 시스템 수준 또는 하드웨어 수준의 optimization(_예: FlashAttention [284])을 더 많이 탐구할 가치가 있습니다. 또한, 기존 LLM은 중요한 기본 역량으로서 일반적으로 긴 context window를 유지합니다. 예를 들어, 가장 최근의 GPT-4 Turbo는 128K tokens의 긴 context를 지원하며, Claude 2.1도 최대 200K tokens까지 입력을 지원합니다. LLM의 긴 context modeling 능력을 향상시키기 위해 많은 노력이 기울여져 왔지만 [264, 291], 그 결과 모델은 여전히 context window의 정보를 잘 처리하지 못합니다 [299]. 이 문제를 해결하기 위해서는 긴 context 정보의 modeling과 활용을 강화하기 위한 특정 architecture adaptations 또는 알고리즘이 필요할 수 있습니다. 또 다른 우려되는 점은 기존 연구가 대부분 decoder-only Transformers로 LLM을 훈련하는 데 초점을 맞추고 있다는 것입니다. 효과적이긴 하지만, 대안 model architectures에 대한 보다 광범위하고 다양한 탐색을 심각하게 제한합니다.
**모델 아키텍처**. Transformer는 확장성과 효율성으로 인해 LLM을 구축하는 데 사실상의 아키텍처가 되었습니다. 신경망 구성 및 확장 가능한 병렬 학습과 같은 다양한 전략이 이 아키텍처의 성능을 개선하기 위해 제안되었습니다(4.2.2절 참조). 그러나 Transformer는 여전히 높은 훈련 비용과 느린 추론 속도로 인해 어려움을 겪고 있습니다. 대규모 사전 학습을 위한 개선된 모델 아키텍처를 개발하기 위해서는 [251, 252] 더 많은 노력이 필요합니다. 특히, Transformer 아키텍처의 효율성을 개선하기 위해서는 시스템 수준 또는 하드웨어 수준의 최적화(_예: FlashAttention [284])를 더 많이 탐구할 가치가 있습니다. 또한, 기존 LLM은 중요한 기본 역량으로서 일반적으로 긴 컨텍스트 창을 유지합니다. 예를 들어, 가장 최근의 GPT-4 터보는 128K 토큰의 긴 컨텍스트를 지원하며, 클라우드 2.1도 최대 200K 토큰까지 입력을 지원합니다. LLM의 긴 문맥 모델링 능력을 향상시키기 위해 많은 노력이 기울여져 왔지만 [264, 291], 그 결과 모델은 여전히 문맥 창의 정보를 잘 처리하지 못합니다 [299]. 이 문제를 해결하기 위해서는 긴 문맥 정보의 모델링과 활용을 강화하기 위한 특정 아키텍처 적응 또는 알고리즘이 필요할 수 있습니다. 또 다른 우려되는 점은 기존 연구가 대부분 디코더 전용 트랜스포머로 LLM을 훈련하는 데 초점을 맞추고 있다는 것입니다. 효과적이긴 하지만, 대안 모델 아키텍처에 대한 보다 광범위하고 다양한 탐색을 심각하게 제한합니다.