Figure 18: We extract the training loss data from Llama2 paper (left part) and estimate the compute optimal \(\frac{D_{opt}}{N_{opt}}\) in their paper using the right part. The straight lines are plotted to estimate the optimal loss envelope assuming using WSD Scheduler.
Figure 18: 우리는 Llama2 논문에서 훈련 손실 데이터를 추출하고 (왼쪽 부분), 오른쪽 부분을 사용하여 논문에서 계산 최적 \(\frac{D_{opt}}{N_{opt}}\)을 추정합니다. 직선은 WSD Scheduler를 사용한다고 가정하여 최적 손실 경계를 추정하기 위해 그려졌습니다.
그림 18: Llama2 논문에서 훈련 손실 데이터를 추출하고(왼쪽 부분), 오른쪽 부분을 사용하여 논문에서 계산 최적의 \(\frac{D_{opt}}{N_{opt}}\)를 추정합니다. 직선은 WSD 스케줄러 사용을 가정하여 최적의 손실 봉투를 추정하기 위해 플롯됩니다.