We freeze the pretrained weights in the Transformer layers, and we train each rank-constrained head (i.e. in the form \(W=AB\) with \(r\) as the inner dimension of the matrix product) for various values of \(r\) on 150M tokens sampled from The Pile using 4 V100 GPUs for the Pythia models and 4 A100 GPUs for Llama-7B. We use the hyperparameters from Biderman et al. (2023), except for the batch size which we set to 256 as it fits our hardware setup better. As the trainable parameter count evolves with \(r\), we search for the best-performing learning rates among values ranging from \(1\cdot 10^{-3}\) to \(5\cdot 10^{-2}\).
사전 학습된 가중치를 Transformer 레이어에 동결하고, 다양한 \(r\) 값에 대해 파이티아 모델의 경우 4개의 V100 GPU, Llama-7B의 경우 4개의 A100 GPU를 사용하여 The Pile에서 샘플링한 1억 5천만 토큰에 대해 각 랭크 제약 헤드(즉, \(W=AB\) 형식, \(r\)은 행렬 곱의 내부 차원)를 학습합니다. Batch Size는 하드웨어 설정에 더 적합하도록 256으로 설정한 것을 제외하면 Biderman 등(2023)의 하이퍼파라미터를 사용합니다. 훈련 가능한 파라미터 수는 \(r\)에 따라 달라지므로, \(1\cdot 10^{-3}\)에서 \(5\cdot 10^{-2}\) 범위의 값 중에서 가장 성능이 좋은 Learning Rate를 검색합니다.
사전 학습된 가중치를 트랜스포머 레이어에 동결하고, 다양한 \(r\) 값에 대해 파이티아 모델의 경우 4개의 V100 GPU, 라마-7B의 경우 4개의 A100 GPU를 사용하여 더 파일에서 샘플링한 1억 5천만 토큰에 대해 각 랭크 제약 헤드(즉, \(W=AB\) 형식, \(r\)은 행렬 곱의 내부 차원)를 학습합니다. 배치 크기는 하드웨어 설정에 더 적합하도록 256으로 설정한 것을 제외하면 Biderman 등(2023)의 하이퍼파라미터를 사용합니다. 훈련 가능한 파라미터 수는 \(r\)에 따라 달라지므로, \(1\cdot 10^{-3}\)에서 \(5\cdot 10^{-2}\) 범위의 값 중에서 가장 성능이 좋은 학습 속도를 검색합니다.