**Model Training.** For pre-training, it is essential to establish a data-centric infrastructure and training procedure for LLM optimization, which can effectively support a systematic process of data collection, data cleaning, data mixture, and data curriculum. Furthermore, it also calls for more flexible mechanisms of hardware support or resource schedule, so as to better organize and utilize the resources in a computing cluster. In practice, it is very challenging to pre-train capable LLMs, due to the huge compute consumption and the sensitivity to data quality and training tricks [78, 93]. Thus, it becomes particularly important to develop systemic, economical pre-training approaches for optimizing LLMs, _e.g._, predictable scaling [46] and proxy model training [59]. More training recipes or principles should be investigated and shared to reduce the potential risk of degradation or failure in large-scale model optimization. Although increasingly more model checkpoints and cleaned datasets have been released, there still lacks reproducible work on pre-training data preparation (_e.g._, detailed cleaning strategies) and data scheduling (_e.g._, data mixture and curriculum). Since it is very costly to pre-train a LLM from scratch, it is important to design suitable mechanisms for continually pre-training or fine-tuning the LLM based on publicly available model checkpoints (_e.g._, LLaMA [57] and Flan-T5 [69]). For this purpose, a number of technical issues have to be resolved, _e.g._, catastrophic forgetting and task specialization. Furthermore, it is also useful to develop effective tuning strategies that effectively inject or edit specific knowledge [672], _e.g._, correcting the outdated facts.
**Model Training**. 사전 훈련을 위해서는 데이터 중심 인프라를 구축하고 LLM optimization을 위한 훈련 절차를 수립해야 하며, 이를 통해 데이터 수집, 데이터 정리, 데이터 혼합, 데이터 커리큘럼의 체계적인 프로세스를 효과적으로 지원할 수 있습니다. 또한 하드웨어 지원 또는 리소스 스케줄링의 보다 유연한 메커니즘이 필요하며, 이를 통해 컴퓨팅 클러스터의 리소스를 더욱 효율적으로 구성하고 활용할 수 있습니다. 실제로 막대한 연산 소비와 데이터 품질 및 훈련 트릭에 대한 민감성으로 인해 능력 있는 LLM을 사전 훈련하는 것은 매우 어려운 일입니다[78, 93]. 따라서 예측 가능한 scaling[46] 및 proxy model training[59]과 같이 LLM을 최적화하기 위한 체계적이고 경제적인 사전 훈련 접근 방식을 개발하는 것이 특히 중요해졌습니다. 대규모 모델 최적화의 성능 저하 또는 실패 가능성을 줄이기 위해 더 많은 훈련 레시피 또는 원칙을 조사하고 공유해야 합니다. 점점 더 많은 모델 체크포인트와 정리된 데이터 세트가 공개되고 있지만, 사전 훈련 데이터 준비(_예: 세부적인 정리 전략) 및 데이터 스케줄링(_예: 데이터 혼합 및 커리큘럼)에 대한 재현 가능한 작업은 여전히 부족합니다. LLM을 처음부터 사전 훈련하는 데는 많은 비용이 들기 때문에 공개적으로 사용 가능한 모델 체크포인트(_예: LLaMA [57] 및 Flan-T5 [69])를 기반으로 LLM을 지속적으로 사전 훈련하거나 Fine-tuning하기 위한 적절한 메커니즘을 설계하는 것이 중요합니다. 이를 위해서는 치명적인 망각과 작업 전문화 등 여러 가지 기술적 문제를 해결해야 합니다. 또한 특정 지식을 효과적으로 주입하거나 편집하는 효과적인 tuning 전략(_예: 오래된 사실 수정)을 개발하는 것도 유용합니다[672].
**모델 훈련**. 사전 훈련을 위해서는 데이터 중심 인프라를 구축하고 LLM 최적화를 위한 훈련 절차를 수립해야 하며, 이를 통해 데이터 수집, 데이터 정리, 데이터 혼합, 데이터 커리큘럼의 체계적인 프로세스를 효과적으로 지원할 수 있습니다. 또한 하드웨어 지원 또는 리소스 스케줄링의 보다 유연한 메커니즘이 필요하며, 이를 통해 컴퓨팅 클러스터의 리소스를 더욱 효율적으로 구성하고 활용할 수 있습니다. 실제로 막대한 연산 소비와 데이터 품질 및 훈련 트릭에 대한 민감성으로 인해 능력 있는 LLM을 사전 훈련하는 것은 매우 어려운 일입니다[78, 93]. 따라서 예측 가능한 스케일링[46] 및 프록시 모델 훈련[59]과 같이 LLM을 최적화하기 위한 체계적이고 경제적인 사전 훈련 접근 방식을 개발하는 것이 특히 중요해졌습니다. 대규모 모델 최적화의 성능 저하 또는 실패 가능성을 줄이기 위해 더 많은 훈련 레시피 또는 원칙을 조사하고 공유해야 합니다. 점점 더 많은 모델 체크포인트와 정리된 데이터 세트가 공개되고 있지만, 사전 훈련 데이터 준비(_예: 세부적인 정리 전략) 및 데이터 스케줄링(_예: 데이터 혼합 및 커리큘럼)에 대한 재현 가능한 작업은 여전히 부족합니다. LLM을 처음부터 사전 훈련하는 데는 많은 비용이 들기 때문에 공개적으로 사용 가능한 모델 체크포인트(_예: LLaMA [57] 및 Flan-T5 [69])를 기반으로 LLM을 지속적으로 사전 훈련하거나 미세 조정하기 위한 적절한 메커니즘을 설계하는 것이 중요합니다. 이를 위해서는 치명적인 망각과 작업 전문화 등 여러 가지 기술적 문제를 해결해야 합니다. 또한 특정 지식을 효과적으로 주입하거나 편집하는 효과적인 튜닝 전략(_예: 오래된 사실 수정)을 개발하는 것도 유용합니다[672].