In this section, we provide a brief analysis of the loss drop in the decay stage, examining it through the prisms of checkpoint updates and gradient information. We calculate the maximum weight element update \(max_{ij}(W_{ij}^{(t+1)}-W_{ij}^{(t)})\) across all weight matrices in the MiniCPM-2.4B (Introduced in Section 6). As depicted in Figure 7, the updates exhibit a robust correlation with the learning rate's magnitude. Notwithstanding the illustration of the two submodules (gate_proj and q_proj) module of the 25th layer), this pattern is prevalent across every layer and submodule within the network. This observation may not be trivial: the model checkpoints experience significant updates preceding the learning rate's decay, yet the loss exhibits minimal reduction. Conversely, during the decay stage, despite less pronounced weight alterations, there is an accelerated decrease in loss.
이 섹션에서는 소실 단계의 loss 감소에 대한 간략한 분석을 제공하여 checkpoint 업데이트와 gradient 정보의 프리즘을 통해 살펴봅니다. MiniCPM-2.4B의 모든 가중치 행렬에 걸쳐 최대 가중치 요소 업데이트 \(max_{ij}(W_{ij}^{(t+1)}-W_{ij}^{(t)})\)를 계산합니다(섹션 6에서 소개). 그림 7과 같이 업데이트는 learning rate의 크기와 강력한 상관관계를 보입니다. 25번째 레이어의 두 하위 모듈(gate_proj 및 q_proj)의 예시와 같이, 이 패턴은 네트워크 내의 모든 레이어와 하위 모듈에 걸쳐 널리 퍼져 있습니다. 이 관찰은 사소한 일이 아닐 수 있습니다. 모델 checkpoints는 learning rate 감소 이전에 상당한 업데이트를 경험하지만 loss는 최소한 감소합니다. 반대로, 감소 단계에서는 가중치 변화가 덜 뚜렷하지만 loss가 가속화되어 감소합니다.
이 섹션에서는 소실 단계의 손실 감소에 대한 간략한 분석을 제공하여 체크포인트 업데이트와 기울기 정보의 프리즘을 통해 살펴봅니다. MiniCPM-2.4B의 모든 가중치 행렬에 걸쳐 최대 가중치 요소 업데이트 \(max_{ij}(W_{ij}^{(t+1)}-W_{ij}^{(t)})\)를 계산합니다(섹션 6에서 소개). 그림 7과 같이 업데이트는 학습 속도의 크기와 강력한 상관관계를 보입니다. 25번째 레이어의 두 하위 모듈(게이트_프로젝트 및 q_프로젝트)의 예시와 같이, 이 패턴은 네트워크 내의 모든 레이어와 하위 모듈에 걸쳐 널리 퍼져 있습니다. 이 관찰은 사소한 일이 아닐 수 있습니다. 모델 체크포인트는 학습 속도 감소 이전에 상당한 업데이트를 경험하지만 손실은 최소한 감소합니다. 반대로, 감소 단계에서는 가중치 변화가 덜 뚜렷하지만 손실이 가속화되어 감소합니다.