In many of our experiments, we compare models trained with replay to models trained without it. When making such comparisons, we keep the amount of compute constant for training both models. That is, we correspondingly reduce the number of tokens seen from the new dataset to accommodate the additional tokens seen from the replay buffer. We refer to this use of replay as _compute-equivalent replay_. For instance, suppose datasets \(\mathcal{D}_{0}\) and \(\mathcal{D}_{1}\) each contain 100B tokens. We wish to compare model (a) trained sequentially on \(\mathcal{D}_{0}\) and \(\mathcal{D}_{1}\) to model (b) trained sequentially on \(\mathcal{D}_{0}\) and \(\mathcal{D}_{1}\) with 5% compute equivalent replay. Model (a) will see all tokens from both datasets for a total of 200B unique tokens. Model (b) will see 100B unique tokens of \(\mathcal{D}_{0}\) and 95B unique tokens of \(\mathcal{D}_{1}\) plus 5B replayed tokens from \(\mathcal{D}_{0}\) for a total of 200B tokens. In this way, both compared models expend the same amount of compute.
많은 실험에서 replay로 학습된 모델과 replay 없이 학습된 모델을 비교합니다. 이러한 비교를 할 때 두 모델을 모두 학습할 때 compute 양을 일정하게 유지합니다. 즉, replay 버퍼에서 보이는 추가 토큰을 수용하기 위해 새 데이터 세트에서 보이는 토큰 수를 그에 따라 줄입니다. 이러한 replay 사용을 _compute-equivalent replay_라고 합니다. 예를 들어, 데이터 세트 \(\mathcal{D}_{0}\)과 \(\mathcal{D}_{1}\)에 각각 100B 토큰이 포함되어 있다고 가정해 보겠습니다. 우리는 \(\mathcal{D}_{0}\)와 \(\mathcal{D}_{1}\)에 순차적으로 학습된 모델 (a)를 5% compute equivalent replay와 함께 순차적으로 학습된 모델 (b)와 비교하고자 합니다. 모델 (a)는 두 데이터 세트의 모든 토큰을 총 200B의 고유 토큰으로 보게 됩니다. 모델 (b)는 \(\mathcal{D}_{0}\)의 고유 토큰 100B와 \(\mathcal{D}_{1}\)의 고유 토큰 95B와 \(\mathcal{D}_{0}\)에서 replay된 토큰 5B를 합쳐 총 200B 토큰을 보게 됩니다. 이러한 방식으로 비교되는 두 모델은 동일한 양의 compute를 소비합니다.
많은 실험에서 리플레이로 학습된 모델과 리플레이 없이 학습된 모델을 비교합니다. 이러한 비교를 할 때 두 모델을 모두 학습할 때 계산량을 일정하게 유지합니다. 즉, 리플레이 버퍼에서 보이는 추가 토큰을 수용하기 위해 새 데이터 세트에서 보이는 토큰 수를 그에 따라 줄입니다. 이러한 리플레이 사용을 _계산 동등 리플레이_라고 합니다. 예를 들어, 데이터 세트 \(\mathcal{D}_{0}\)과 \(\mathcal{D}_{1}\)에 각각 100B 토큰이 포함되어 있다고 가정해 보겠습니다. 우리는 \(\mathcal{D}_{0}\)와 \(\mathcal{D}_{1}\)에 순차적으로 학습된 모델 (a)를 5% 계산량과 동일한 모델 (b)와 비교하고자 합니다. 모델 (a)는 두 데이터 세트의 모든 토큰을 총 200B의 고유 토큰으로 보게 됩니다. 모델 (b)는 \(\mathcal{D}_{0}\)의 고유 토큰 100B와 \(\mathcal{D}_{1}\)의 고유 토큰 95B와 \(\mathcal{D}_{0}\)에서 리플레이된 토큰 5B를 합쳐 총 200B 토큰을 보게 됩니다. 이러한 방식으로 비교되는 두 모델은 동일한 양의 계산을 소비합니다.