Adapting replay to Domain Incremental continual pre-trainingIn settings that span more than two tasks, we use a form of reservoir sampling (Buzzega et al., 2020), where the replay buffer is updated at discrete intervals. We refer to this technique as _discrete reservoir sampling_. Specifically, given a sequence of \(N\) datasets \(\mathcal{D}_{0},\mathcal{D}_{1},\dots,\mathcal{D}_{N-1}\) of sizes \(s_{0},s_{1},\dots,s_{N-1}\) that are trained on in sequence, we update the replay buffer \(\mathcal{R}\) at each dataset transition. Let \(\mathcal{R}_{i}\) correspond to the state of the replay buffer as the start of training on the \(i\)-th dataset.
도메인 인크리멘탈 연속 사전 학습에 리플레이 적용두 개 이상의 작업에 걸친 설정에서는 리플레이 버퍼가 이산 간격으로 업데이트되는 일종의 reservoir sampling(Buzzega et al., 2020)을 사용합니다. 이 기법을 _discrete reservoir sampling_이라고 합니다. 특히, 순서대로 학습되는 크기 \(s_{0},s_{1},\dots,s_{N-1}\)의 \(N\) 데이터 세트 \(\mathcal{D}_{0},\mathcal{D}_{1},\dots,\mathcal{D}_{N-1}\)의 시퀀스가 주어지면, 각 데이터 세트 전환 시 리플레이 버퍼 \(\mathcal{R}\)을 업데이트합니다. \(\mathcal{R}_{i}\)는 \(i\)-번째 데이터 세트에 대한 학습이 시작될 때 리플레이 버퍼의 상태에 해당합니다.
도메인 인크리멘탈 연속 사전 학습에 리플레이 적용두 개 이상의 작업에 걸친 설정에서는 리플레이 버퍼가 이산 간격으로 업데이트되는 일종의 리저버 샘플링(Buzzega et al., 2020)을 사용합니다. 이 기법을 _이산 리저버 샘플링_이라고 합니다. 특히, 순서대로 학습되는 크기 \(s_{0},s_{1},\dots,s_{N-1}\)의 \(N\) 데이터 세트 \(\mathcal{D}_{0},\mathcal{D}_{1},\dots,\mathcal{D}_{N-1}\)의 시퀀스가 주어지면, 각 데이터 세트 전환 시 리플레이 버퍼 \(\mathcal{R}\)을 업데이트합니다. mathcal{R}_{i}\)는 \(i\)-번째 데이터 세트에 대한 학습이 시작될 때 리플레이 버퍼의 상태에 해당합니다.