For instance, in our settings that span only two datasets \((\mathcal{D}_{0},\mathcal{D}_{1})\), we use replay of data from \(\mathcal{D}_{0}\) when training on \(\mathcal{D}_{1}\). We replay the data in the order it was seen when pretraining on \(\mathcal{D}_{0}\), as we did not observe noticeable differences when reshuffling the replay data in preliminary experiments. The use of methods for selecting replay samples is left as future work. We refer to models using replay as "\(\mathcal{D}_{1}\)\(x\)% Replay", where \(x\) is the percentage of data in each training batch that comes from \(\mathcal{D}_{0}\). Conversely, \((100\%-x)\)% of the samples in each training batch will be sampled from \(\mathcal{D}_{1}\). When comparing models trained with replay to other configurations, we ensure that the compute is _equivalent_ by reducing the number of \(\mathcal{D}_{1}\) tokens to accommodate replay tokens from \(\mathcal{D}_{0}\).
예를 들어, 두 개의 데이터 집합으로만 구성된 설정 \((\mathcal{D}_{0},\mathcal{D}_{1})\), \(\mathcal{D}_{1}\)에 대해 학습할 때 \(\mathcal{D}_{0}\)의 데이터를 replay합니다. 예비 실험에서 replay 데이터를 재배열했을 때 눈에 띄는 차이를 관찰하지 못했기 때문에 \(\mathcal{D}_{0}\)에 대해 사전 학습할 때 관찰된 순서대로 데이터를 replay합니다. replay 샘플을 선택하는 방법은 향후 작업으로 남겨두었습니다. replay를 사용하는 모델을 "\(\mathcal{D}_{1}\)\(x\)% Replay"라고 부르며, 여기서 \(x\)는 각 훈련 배치에서 \(\mathcal{D}_{0}\)에서 가져온 데이터의 비율입니다. 반대로 각 훈련 배치의 샘플 중 \((100\%-x)\)%는 \(\mathcal{D}_{1}\)에서 샘플링됩니다. replay로 훈련된 모델을 다른 구성과 비교할 때, \(\mathcal{D}_{0}\)의 replay 토큰을 수용하기 위해 \(\mathcal{D}_{1}\) 토큰의 수를 줄임으로써 계산이 _equivalent_한지 확인합니다.
예를 들어, 두 개의 데이터 집합으로만 구성된 설정\((\mathcal{D}_{0},\mathcal{D}_{1})\), \(\mathcal{D}_{1}\)에 대해 학습할 때 \(\mathcal{D}_{0}\)의 데이터를 재생합니다. 예비 실험에서 재생 데이터를 재배열했을 때 눈에 띄는 차이를 관찰하지 못했기 때문에 \(\mathcal{D}_{0}\)에 대해 사전 학습할 때 관찰된 순서대로 데이터를 재생합니다. 재생 샘플을 선택하는 방법은 향후 작업으로 남겨두었습니다. 재생을 사용하는 모델을 "\(\mathcal{D}_{1}\)\(x\)% 재생"이라고 부르며, 여기서 \(x\)는 각 훈련 배치에서 \(\mathcal{D}_{0}\)에서 가져온 데이터의 비율입니다. 반대로 각 훈련 배치의 샘플 중 \((100\%-x)\)%는 \(\mathcal{D}_{1}\)에서 샘플링됩니다. 재생으로 훈련된 모델을 다른 구성과 비교할 때, \(\mathcal{D}_{0}\)의 재생 토큰을 수용하기 위해 \(\mathcal{D}_{1}\) 토큰의 수를 줄임으로써 계산이 _동일한_지 확인합니다.