In this work, we first investigate the dynamics of several open-sourced large language models (i.e., Baichuan-7B (Yang et al., 2023), DeepSeek-7B (DeepSeek-AI et al., 2024), Amber-7B (Liu et al., 2023), OpenLLaMA-7B (Geng and Liu, 2023; Touvron et al., 2023; Computer, 2023), Yi-34B (AI et al., 2024) and DeepSeek-67B), and analyze their performance results across diverse tasks using the corresponding intermediate checkpoints based on the number of pre-trained tokens.
이 작업에서는 먼저 오픈 소스화된 여러 Large Language Models (예: Baichuan-7B (Yang et al., 2023), DeepSeek-7B (DeepSeek-AI et al., 2024), Amber-7B (Liu et al., 2023), OpenLLaMA-7B (Geng and Liu, 2023; Touvron et al., 2023; Computer, 2023), Yi-34B (AI et al., 2024) 및 DeepSeek-67B)의 동역학을 조사하고 사전 학습된 토큰 수를 기준으로 해당 중간 체크포인트를 사용하여 다양한 작업에 걸친 성능 결과를 분석합니다.
이 작업에서는 먼저 오픈 소스화된 여러 대형 언어 모델(예: 바이추안-7B(양 외., 2023), 딥시크-7B(딥시크-AI 외., 2024), 앰버-7B(류 외., 2023), 오픈라마-7B(Geng and Liu, 2023; Touvron et al., 2023; Computer, 2023), Yi-34B(AI et al., 2024) 및 DeepSeek-67B)의 동역학을 조사하고 사전 학습된 토큰 수를 기준으로 해당 중간 체크포인트를 사용하여 다양한 작업에 걸친 성능 결과를 분석합니다.