We train the baseline model on 2 trillion tokens in the left-to-right direction. Reverse training uses only half of these tokens (1 trillion), but trains in both the standard left-to-right direction, and in the right-to-left (reverse) direction with this same subset of the data. Hence it does model updates over 2 trillion tokens in total, i.e. 1 trillion tokens in each direction is passed through the model. We call this setup _compute-matched_ because both models processed the same amount of tokens in total and used the same compute resources. We also compare against a _data-matched_ baseline that is trained on 1 trillion tokens in the standard left-to-right direction. This model has been trained with half as many updates, but has seen the same data examples as the reverse trained model, but only in one direction. For reverse training, we employ entity-preserving reversal for 5% of the pre-train data, and the remainder uses word-reversal, mainly due to the extra computational cost of the entity reversal procedure, which we refer to as "entity"* in our results. We also test other reversal mechanisms in our ablation experiments.
기본 모델은 왼쪽에서 오른쪽 방향으로 2조 tokens에 대해 학습합니다. 역방향 학습은 이 tokens의 절반(1조)만 사용하지만, 표준 왼쪽에서 오른쪽 방향과 이 동일한 데이터 하위 집합을 사용하여 오른쪽에서 왼쪽(역방향) 방향으로 학습합니다. 따라서 총 2조 tokens에 대한 모델 업데이트를 수행하며, 즉 각 방향에서 1조 tokens이 모델에 전달됩니다. 이 설정을 _compute-matched_라고 부르는데, 두 모델 모두 총 동일한 양의 tokens을 처리하고 동일한 compute resources를 사용했기 때문입니다. 또한 표준 왼쪽에서 오른쪽 방향으로 1조 tokens에 대해 학습된 _data-matched_ 기준 모델과 비교합니다. 이 모델은 절반의 업데이트로 학습되었지만 역방향으로 학습된 모델과 동일한 데이터 예제를 보았지만 한 방향으로만 학습되었습니다. 역방향 학습의 경우, 사전 학습 데이터의 5%에 대해서는 entity-preserving reversal을 사용하고, 나머지는 주로 entity reversal 절차의 추가 계산 비용으로 인해 word-reversal을 사용하며, 결과에서는 이를 "entity"*라고 부릅니다. 또한 ablation experiments에서 다른 reversal 메커니즘도 테스트했습니다.
기본 모델은 왼쪽에서 오른쪽 방향으로 2조 토큰에 대해 학습합니다. 역방향 학습은 이 토큰의 절반(1조)만 사용하지만, 표준 왼쪽에서 오른쪽 방향과 이 동일한 데이터 하위 집합을 사용하여 오른쪽에서 왼쪽(역방향) 방향으로 학습합니다. 따라서 총 2조 토큰에 대한 모델 업데이트를 수행하며, 즉 각 방향에서 1조 토큰이 모델에 전달됩니다. 이 설정을 _계산 일치_라고 부르는데, 두 모델 모두 총 동일한 양의 토큰을 처리하고 동일한 계산 리소스를 사용했기 때문입니다. 또한 표준 왼쪽에서 오른쪽 방향으로 1조 토큰에 대해 학습된 _데이터 일치_ 기준 모델과 비교합니다. 이 모델은 절반의 업데이트로 학습되었지만 역방향으로 학습된 모델과 동일한 데이터 예제를 보았지만 한 방향으로만 학습되었습니다. 역방향 학습의 경우, 사전 학습 데이터의 5%에 대해서는 엔티티 보존 리버설을 사용하고, 나머지는 주로 엔티티 리버설 절차의 추가 계산 비용으로 인해 단어 리버설을 사용하며, 결과에서는 이를 "엔티티"*라고 부릅니다. 또한 삭감 실험에서 다른 리버설 메커니즘도 테스트했습니다.