We train a transformer model with \(dim=2048\), \(n\_layers=24\), and \(n\_heads=16\), resulting in 1.4B parameters. Training data and hyperparameter setup mostly repeats the one from Touvron et al. (2023b). To adapt for the relatively smaller model size, we increase the learning rate to \(4.0e-4\), and the global batch-size was capped at 2M due to the limited number of GPUs. During training, we observe a fixed gap in training perplexity between baseline models and reverse training (Figure 1). The loss of the baseline model is measured on data in the standard direction, while the reverse training loss covers data in both directions. We posit that the reverse training doesn't interfere with forward learning -- thus, the model's performance does not degrade on standard benchmarks in data-match conditions, and because we observe a match in the convergence rate of the reverse trained models with the baseline model when it's trained on about 50% of the data.
dim=2048\), n\_layers=24\), n\_heads=16\)으로 Transformer 모델을 훈련하여 1.4B 파라미터를 얻습니다. 훈련 데이터와 하이퍼파라미터 설정은 대부분 Touvron 등(2023b)의 것을 반복합니다. 상대적으로 작은 모델 크기에 맞게 Learning Rate를 4.0e-4\)로 높였고, 제한된 GPU 수로 인해 전체 Batch Size는 2M로 제한되었습니다. 훈련 중에 기본 모델과 역방향 훈련 간의 훈련 Perplexity에 고정된 간격을 관찰합니다(그림 1). 기본 모델의 Loss는 표준 방향의 데이터에 대해 측정되는 반면, 역 훈련 Loss는 두 방향의 데이터를 모두 포함합니다. 역 훈련이 순방향 학습을 방해하지 않으므로 데이터 일치 조건에서 표준 벤치마크에서 모델의 성능이 저하되지 않으며, 약 50%의 데이터로 훈련할 때 역 훈련된 모델의 수렴 속도가 기본 모델과 일치하는 것을 관찰할 수 있습니다.
dim=2048\), n\_layers=24\), n\_heads=16\)으로 트랜스포머 모델을 훈련하여 1.4B 파라미터를 얻습니다. 훈련 데이터와 하이퍼파라미터 설정은 대부분 Touvron 등(2023b)의 것을 반복합니다. 상대적으로 작은 모델 크기에 맞게 학습 속도를 4.0e-4\)로 높였고, 제한된 GPU 수로 인해 전체 배치 크기는 2M로 제한되었습니다. 훈련 중에 기본 모델과 역방향 훈련 간의 훈련 당혹감에 고정된 간격을 관찰합니다(그림 1). 기본 모델의 손실은 표준 방향의 데이터에 대해 측정되는 반면, 역 훈련 손실은 두 방향의 데이터를 모두 포함합니다. 역 훈련이 순방향 학습을 방해하지 않으므로 데이터 일치 조건에서 표준 벤치마크에서 모델의 성능이 저하되지 않으며, 약 50%의 데이터로 훈련할 때 역 훈련된 모델의 수렴 속도가 기본 모델과 일치하는 것을 관찰할 수 있습니다.