where \(i\) is the index of the dataset on which we are currently pretraining, and \(\gamma_{j}=0\) if \(j=0\), and \(1\) otherwise. The latter is because when pretraining on \(\mathcal{D}_{i}\), we only see \(s_{i}\cdot(1-\alpha)\) tokens of \(\mathcal{D}_{i}\) because we use compute-equivalent replay, except for the first dataset \(\mathcal{D}_{0}\) where replay is not used, and where we hence see all \(s_{0}\) tokens of \(\mathcal{D}_{0}\).
여기서 \(i\)는 현재 사전 학습 중인 데이터 세트의 인덱스이고, \(\gamma_{j}=0\)은 \(j=0\)인 경우, 그렇지 않은 경우 \(1\)입니다. 후자는 replay가 사용되지 않는 첫 번째 데이터 세트 \(\mathcal{D}_{0}\)를 제외하고는 compute-equivalent replay를 사용하기 때문에 \(\mathcal{D}_{i}\)의 \(s_{i}\cdot(1-\alpha)\) 토큰만 볼 수 있고, 따라서 \(\mathcal{D}_{0}\)의 모든 \(s_{0}\) 토큰을 볼 수 있기 때문입니다.
여기서 \(i\)는 현재 사전 학습 중인 데이터 세트의 인덱스이고, \(\gamma_{j}=0\)은 \(j=0\)인 경우, 그렇지 않은 경우 \(1\)입니다. 후자는 리플레이가 사용되지 않는 첫 번째 데이터 세트 \(\mathcal{D}_{0}\)를 제외하고는 계산 등가 리플레이를 사용하기 때문에 \(\mathcal{D}_{i}\)의 \(s_{i}\cdot(1-\alpha)\) 토큰만 볼 수 있고, 따라서 \(\mathcal{D}_{0}\)의 모든 \(s_{0}\) 토큰을 볼 수 있기 때문입니다.