* **Findings on task dynamic prediction:** Within the training process of LLMs, we observe that the dynamics of existing downstream tasks within a domain can predict the dynamics of unseen tasks. This suggests that a model's performance on known tasks can inform us about how it might perform on similar, yet unseen tasks within the same domain. (Section 4.1.1)
* **Findings on cross-domain promotion:** Similar to the human cognitive process, the enhancement of different abilities across various domains progresses from basic to advanced levels following curriculum learning. The curriculum between cross-domain tasks can guide the training direction of models and the insights gained from one domain can potentially promote the learning process of other domains. (Section 4.1.2)
* **Findings on the effect of training strategies, model architecture, etc. :** Based on the results of several 7b-scale models (Baichuan2-7b, DeepSeek-7b, OpenLLaMA-7b, and Amber-7b), we comprehensively analyze the effect of training strategies, dataset quality, and model architecture in training LLMs. For example, we observe that the training dataset, learning rate adjustments, batch size, and regularization techniques play a significant role in the learning efficiency in the early training stage (Section 4.2.1). * **Findings on the effect of model scale on reasoning tasks:** Based on the results of Deepseek-7b, 34b and 67b, we observe that the model size and complexity significantly influence its ability on these reasoning tasks. Nonetheless, employing particular strategies can enhance smaller-scale models to obtain similar performance on commonsense reasoning when compared with their larger counterparts. (Section 4.2.2)
* **Findings on the scaling law:** (1). We observe that larger training datasets lead to improved model performance on various benchmarks, which demonstrates the effect of extensive training data in training LLMs. However, the benefit of additional data diminishes as datasets grow, suggesting an approaching limit to performance gains. (2). We observe that the accuracies of the scaling law (Hoffmann et al., 2022) vary a lot across different models, which indicates that factors such as model architecture and computational complexity significantly influence scaling efficiency. Notably, some models demonstrate better alignment with the law, suggesting potential advantages in data utilization and learning efficiency. (3). Although the scaling law can provide a useful perspective on the impact of training data size, the actual performance scaling is nuanced, which reflects the complex interplay between data volume, model architecture, and computational strategies. This also highlights the importance of continued research into scaling laws and model optimization to maximize learning outcomes from available data (Section 5).
* **작업 동적 예측에 대한 연구 결과:** LLM의 훈련 과정에서 도메인 내 기존 다운스트림 작업의 역학이 보이지 않는 작업의 역학을 예측할 수 있다는 것을 관찰했습니다. 이는 알려진 작업에 대한 모델의 성능이 동일한 도메인 내에서 보이지 않는 유사한 작업에서 어떻게 수행되는지에 대한 정보를 제공할 수 있음을 시사합니다. (4.1.1절)
* **범용성 향상에 대한 연구 결과:** 인간의 인지 과정과 유사하게, 다양한 도메인에 걸친 다양한 능력의 향상은 커리큘럼 학습에 따라 기초부터 고급 단계까지 진행됩니다. 도메인 간 커리큘럼은 모델의 훈련 방향을 안내할 수 있으며, 한 도메인에서 얻은 인사이트는 잠재적으로 다른 도메인의 학습 과정을 촉진할 수 있습니다. (4.1.2절)
* **훈련 전략, 모델 아키텍처 등의 효과에 대한 연구 결과:** 7b 규모의 여러 모델(Baichuan2-7b, DeepSeek-7b, OpenLLaMA-7b, Amber-7b)의 결과를 바탕으로 훈련 전략, 데이터 세트 품질, 모델 아키텍처의 효과를 종합적으로 분석합니다. 예를 들어, 훈련 데이터 세트, Learning Rate 조정, Batch Size, 정규화 기법이 초기 훈련 단계의 학습 효율성에 중요한 역할을 한다는 것을 관찰했습니다(4.2.1절).
* **추론 작업에 대한 모델 규모의 효과에 대한 연구 결과:** Deepseek-7b, 34b 및 67b의 결과를 바탕으로 모델 규모와 복잡성이 이러한 추론 작업에 대한 능력에 큰 영향을 미친다는 것을 관찰했습니다. 그럼에도 불구하고 특정 전략을 사용하면 소규모 모델이 더 큰 모델과 비교했을 때 상식적 추론에서 유사한 성능을 얻을 수 있습니다. (4.2.2절)
* **Scaling 법칙에 대한 연구 결과:** (1). 훈련 데이터 세트가 클수록 다양한 벤치마크에서 모델 성능이 향상되는 것을 관찰할 수 있으며, 이는 LLM 훈련에 광범위한 훈련 데이터의 효과를 보여줍니다. 그러나 데이터셋이 커질수록 추가 데이터의 이점이 감소하여 성능 향상에 대한 한계에 가까워지는 것을 알 수 있습니다. (2). Scaling 법칙(Hoffmann et al., 2022)의 정확도가 모델마다 크게 다르다는 것을 관찰할 수 있는데, 이는 모델 아키텍처 및 계산 복잡성과 같은 요인이 Scaling 효율성에 큰 영향을 미친다는 것을 나타냅니다. 특히 일부 모델은 이 법칙에 더 잘 부합하는 것으로 나타나 데이터 활용 및 학습 효율성 측면에서 잠재적인 이점을 시사합니다. (3). Scaling 법칙은 훈련 데이터 크기의 영향에 대한 유용한 관점을 제공할 수 있지만, 실제 성능 Scaling은 미묘한 차이를 보이며, 이는 데이터 볼륨, 모델 아키텍처 및 계산 전략 간의 복잡한 상호 작용을 반영합니다. 이는 또한 사용 가능한 데이터에서 학습 결과를 극대화하기 위해 Scaling 법칙과 모델 최적화에 대한 지속적인 연구의 중요성을 강조합니다(섹션 5).
* **작업 동적 예측에 대한 연구 결과:** LLM의 훈련 과정에서 도메인 내 기존 다운스트림 작업의 역학이 보이지 않는 작업의 역학을 예측할 수 있다는 것을 관찰했습니다. 이는 알려진 작업에 대한 모델의 성능이 동일한 도메인 내에서 보이지 않는 유사한 작업에서 어떻게 수행되는지에 대한 정보를 제공할 수 있음을 시사합니다. (4.1.1절)* **범용성 향상에 대한 연구 결과:** 인간의 인지 과정과 유사하게, 다양한 도메인에 걸친 다양한 능력의 향상은 커리큘럼 학습에 따라 기초부터 고급 단계까지 진행됩니다. 도메인 간 커리큘럼은 모델의 훈련 방향을 안내할 수 있으며, 한 도메인에서 얻은 인사이트는 잠재적으로 다른 도메인의 학습 과정을 촉진할 수 있습니다. (4.1.2절)* **훈련 전략, 모델 아키텍처 등의 효과에 대한 연구 결과: ** 7b 규모의 여러 모델(Baichuan2-7b, DeepSeek-7b, OpenLLaMA-7b, Amber-7b)의 결과를 바탕으로 훈련 전략, 데이터 세트 품질, 모델 아키텍처의 효과를 종합적으로 분석합니다. 예를 들어, 훈련 데이터 세트, 학습 속도 조정, 배치 크기, 정규화 기법이 초기 훈련 단계의 학습 효율성에 중요한 역할을 한다는 것을 관찰했습니다(4.2.1절). * **추론 작업에 대한 모델 규모의 효과에 대한 연구 결과: ** Deepseek-7b, 34b 및 67b의 결과를 바탕으로 모델 규모와 복잡성이 이러한 추론 작업에 대한 능력에 큰 영향을 미친다는 것을 관찰했습니다. 그럼에도 불구하고 특정 전략을 사용하면 소규모 모델이 더 큰 모델과 비교했을 때 상식적 추론에서 유사한 성능을 얻을 수 있습니다. (4.2.2절)* **스케일링 법칙에 대한 연구 결과:** (1). 훈련 데이터 세트가 클수록 다양한 벤치마크에서 모델 성능이 향상되는 것을 관찰할 수 있으며, 이는 LLM 훈련에 광범위한 훈련 데이터의 효과를 보여줍니다. 그러나 데이터셋이 커질수록 추가 데이터의 이점이 감소하여 성능 향상에 대한 한계에 가까워지는 것을 알 수 있습니다. (2). 스케일링 법칙(Hoffmann et al., 2022)의 정확도가 모델마다 크게 다르다는 것을 관찰할 수 있는데, 이는 모델 아키텍처 및 계산 복잡성과 같은 요인이 스케일링 효율성에 큰 영향을 미친다는 것을 나타냅니다. 특히 일부 모델은 이 법칙에 더 잘 부합하는 것으로 나타나 데이터 활용 및 학습 효율성 측면에서 잠재적인 이점을 시사합니다. (3). 스케일링 법칙은 훈련 데이터 크기의 영향에 대한 유용한 관점을 제공할 수 있지만, 실제 성능 스케일링은 미묘한 차이를 보이며, 이는 데이터 볼륨, 모델 아키텍처 및 계산 전략 간의 복잡한 상호 작용을 반영합니다. 이는 또한 사용 가능한 데이터에서 학습 결과를 극대화하기 위해 스케일링 법칙과 모델 최적화에 대한 지속적인 연구의 중요성을 강조합니다(섹션 5).