Footnote 3: During gradient clipping all of the model’s parameters are treated as a single big vector (as if all parameters were flattened and concatenated together), and we take the \(\ell_{2}\)-norm over the corresponding single gradient vector. This is the standard way to clip gradients in PyTorch.
주3: Gradient clipping하는 동안 모델의 모든 파라미터는 하나의 큰 벡터로 취급되며(모든 파라미터가 평평하게 펴지고 연결된 것처럼), 해당 단일 Gradient 벡터에 대한 \(\ell_{2}\)-norm을 취합니다. 이것이 PyTorch에서 Gradient를 clipping하는 표준 방법입니다.
주3: 그라데이션 클리핑하는 동안 모델의 모든 파라미터는 하나의 큰 벡터로 취급되며(모든 파라미터가 평평하게 펴지고 연결된 것처럼), 해당 단일 그라데이션 벡터에 대한 \(\ell_{2}\)-노름을 취합니다. 이것이 파이토치에서 그라데이션을 클리핑하는 표준 방법입니다.