Further examination of the gradient data is undertaken by training a 0.2B model, meticulously recording every step gradient information, and evaluating the differences between consecutive steps, thereby providing an approximation of second-order gradient information. We treat the gradient at step \(t\) as a flattened vector \(\mathbf{g}^{(t)}\), and the parameter (also flattened as a vector \(\mathbf{x}^{(t)}\) ) update between step \(t\) and \(t+1\) is \(\mathbf{v}^{(t)}=\mathbf{x}^{(t+1)}-\mathbf{x}^{(t)}\). The gradient norm take the \(L2\) norm of the gradient \(\|\mathbf{g}^{(t)}\|\), gradient inner product is \(\mathbf{g}^{(t+1)}\cdot\mathbf{g}^{(t)}\)the cosine of the gradient's angle is given by \(\frac{\mathbf{g}^{(t+1)},\mathbf{g}^{(t)}}{\|\mathbf{g}^{(t+1)}\|\|\mathbf{g}^{(t )}\|}\). Imaging the optimization process as a trajectory over a high-dimension manifold, first order directional derivative along the trajectory is computed as \(D_{1}=\frac{\mathbf{g}^{(t+1)},\mathbf{v}^{(t)}}{\|\mathbf{v}^{(t)}\|}\), and the second order directional derivative is \(D_{2}=\frac{(\mathbf{g}^{(t+1)}-\mathbf{g}^{(t)}),\mathbf{v}^{(t)}}{\|\mathbf{ v}^{(t)}\|^{2}}\). \(D_{1},D_{2}\) enables an approximate estimation of the loss curvature on the trajectory, \(K=\frac{|D_{2}|}{(1+D_{1}^{2})^{\frac{1}{2}}}\). The results of these statistics over time are shown in Figure 8. We can see that the gradient norm diminishes during the decay phase, and upon commencement of this stage, the cosine between gradients predominantly assumes positive values, suggesting that in the decay phase, model parameters undergo consistent changes across steps. Concerning directional derivatives, it is remarkable that the first-order directional derivative diminishes exponentially with each step, aligning closely with the learning rate, while the second-order directional derivative exhibits a slight increase in magnitude. The curvature of the loss function also increases by a magnitude, indicating the proximity to a local optimum. These findings potentially offer a deeper insight into the shape optimization space, a subject reserved for future exploration.
0.2B 모델을 훈련하고 모든 단계 gradient 정보를 세심하게 기록한 후 연속된 단계 간의 차이를 평가하여 2차 gradient 정보의 근사치를 제공함으로써 그라데이션 데이터를 추가로 검토합니다. 단계 \(t\)의 gradient를 평면화된 벡터 \(\mathbf{g}^{(t)}\)로 처리하고, 단계 \(t\)와 \(t+1\) 사이의 parameter(역시 벡터 \(\mathbf{x}^{(t)}\)로 평면화됨) 업데이트는 \(\mathbf{v}^{(t)}=\mathbf{x}^{(t+1)}-\mathbf{x}^{(t)}\)입니다. gradient norm은 gradient의 \(L2\) norm \(\|\mathbf{g}^{(t)}\|\), gradient 내적은 \(\mathbf{g}^{(t+1)}\cdot\mathbf{g}^{(t)}\), gradient의 각도의 코사인은 \(\frac{\mathbf{g}^{(t+1)},\mathbf{g}^{(t)}}{\|\mathbf{g}^{(t+1)}\|\|\mathbf{g}^{(t )}\|}\). 최적화 프로세스를 고차원 매니폴드에 대한 궤적로 이미지화하면 궤적을 따라 1차 방향 도함수는 \(D_{1}=\frac{\mathbf{g}^{(t+1)},\mathbf{v}^{(t)}}{\|\mathbf{v}^{(t)}\|}\), 2차 방향 도함수는 \(D_{2}=\frac{(\mathbf{g}^{(t+1)}-\mathbf{g}^{(t)}),\mathbf{v}^{(t)}}{\|\mathbf{ v}^{(t)}\|^{2}}\). \(D_{1},D_{2}\)는 궤적에서 loss 곡률의 근사 추정을 가능하게 하며, \(K=\frac{|D_{2}|}{(1+D_{1}^{2})^{\frac{1}{2}}}\). 이러한 통계의 결과는 시간에 따라 그림 8에 나와 있습니다. 감쇠 단계에서 gradient norm이 감소하고, 이 단계가 시작되면 gradient 사이의 코사인이 주로 양수 값을 취하는 것을 볼 수 있으며, 이는 감쇠 단계에서 모델 parameter가 단계에 따라 일관된 변화를 겪는다는 것을 시사합니다. 방향 도함수와 관련하여, 1차 방향 도함수는 각 단계마다 learning rate에 따라 기하급수적으로 감소하는 반면, 2차 방향 도함수는 그 크기가 약간 증가하는 것이 주목할 만합니다. loss 함수의 곡률도 그 크기가 증가하여 국부적 최적값에 가까워짐을 나타냅니다. 이러한 결과는 잠재적으로 미래의 탐구를 위한 주제인 최적화 공간의 모양에 대한 더 깊은 통찰력을 제공할 수 있습니다.
0.2B 모델을 훈련하고 모든 단계 기울기 정보를 세심하게 기록한 후 연속된 단계 간의 차이를 평가하여 2차 기울기 정보의 근사치를 제공함으로써 그라데이션 데이터를 추가로 검토합니다. 단계 \(t\)의 기울기를 평면화된 벡터 \(\mathbf{g}^{(t)}\)로 처리하고, 단계 \(t\)와 \(t+1\) 사이의 파라미터(역시 벡터 \(\mathbf{x}^{(t)}\)로 평면화됨) 업데이트는 \(\mathbf{v}^{(t)}=\mathbf{x}^{(t+1)}-\mathbf{x}^{(t)}\)입니다. 그라데이션 규범은 그라데이션의 \(L2\) 규범 \(\|\mathbf{g}^{(t)}\|\), 그라데이션 내적은 \(\mathbf{g}^{(t+1)}\cdot\mathbf{g}^{(t)}\), 그라데이션의 각도의 코사인은 \(\frac{\mathbf{g}^{(t+1)},\mathbf{g}^{(t)}}{\|\mathbf{g}^{(t+1)}\|\|\mathbf{g}^{(t )}\|}\). 최적화 프로세스를 고차원 매니폴드에 대한 궤적로 이미지화하면 궤적을 따라 1차 방향 도함수는 \(D_{1}=\frac{\mathbf{g}^{(t+1)},\mathbf{v}^{(t)}}{\|\mathbf{v}^{(t)}\|}\), 2차 방향 도함수는 \(D_{2}=\frac{(\mathbf{g}^{(t+1)}-\mathbf{g}^{(t)}),\mathbf{v}^{(t)}}{\|\mathbf{ v}^{(t)}\|^{2}}\). D_{1},D_{2}\)는 궤적에서 손실 곡률의 근사 추정을 가능하게 하며, \(K=\frac{|D_{2}|}{(1+D_{1}^{2})^{\frac{1}{2}}}\). 이러한 통계의 결과는 시간에 따라 그림 8에 나와 있습니다. 감쇠 단계에서 그라데이션 규범이 감소하고, 이 단계가 시작되면 그라데이션 사이의 코사인이 주로 양수 값을 취하는 것을 볼 수 있으며, 이는 감쇠 단계에서 모델 파라미터가 단계에 따라 일관된 변화를 겪는다는 것을 시사합니다. 방향 도함수와 관련하여, 1차 방향 도함수는 각 단계마다 학습 속도에 따라 기하급수적으로 감소하는 반면, 2차 방향 도함수는 그 크기가 약간 증가하는 것이 주목할 만합니다. 손실 함수의 곡률도 그 크기가 증가하여 국부적 최적값에 가까워짐을 나타냅니다. 이러한 결과는 잠재적으로 미래의 탐구를 위한 주제인 최적화 공간의 모양에 대한 더 깊은 통찰력을 제공할 수 있습니다.