\begin{table}
\begin{tabular}{l l l l|l l} \(S\) & \(T_{total}\) & \(T_{selected}\) & Epochs & Non-Web Snapshot PPL & Instruction + Answers PPL \\ \hline Random & 40B & 40B & \(1\) & \(16.27\pm 0.012\) & \(14.19\pm 0.003\) \\  & 40B & 20B & \(2\) & \(16.39\pm 0.011\) (+\(0.12\)) & \(14.37\pm 0.015\) (+\(0.18\)) \\ \hline D4 & 40B & 20B & 2 & \(\mathbf{16.10\pm 0.024}\) (-\(0.17\)) & \(\mathbf{13.85\pm 0.016}\) (\(-0.34\)) \\ \end{tabular}
\end{table}
Table 1: For fixed data selection method and source dataset size, we compare the effects of choosing new tokens or repeating token. All models are 1.3B OPT models trained on 40B tokens. \(T_{selected}\) denotes the number of tokens selected from the source dataset. The top row denotes baseline training. Mean and standard error across 3 seeds are shown.
\begin{table}
\begin{tabular}{l l l l|l l} \(S\) & \(T_{total}\) & \(T_{selected}\) & Epochs & Non-Web Snapshot PPL & Instruction + Answers PPL \\ \hline Random & 40B & 40B & \(1\) & \(16.27\pm 0.012\) & \(14.19\pm 0.003\) \\  & 40B & 20B & \(2\) & \(16.39\pm 0.011\) (+\(0.12\)) & \(14.37\pm 0.015\) (+\(0.18\)) \\ \hline D4 & 40B & 20B & 2 & \(\mathbf{16.10\pm 0.024}\) (-\(0.17\)) & \(\mathbf{13.85\pm 0.016}\) (\(-0.34\)) \\ \end{tabular}
\end{table}
표 1: 고정된 데이터 선택 방법과 소스 데이터 세트 크기의 경우, 새로운 토큰을 선택하는 것과 토큰을 반복하는 것의 효과를 비교합니다. 모든 모델은 40B 토큰에 대해 학습된 1.3B OPT 모델입니다. \(T_{selected}\)는 소스 데이터 세트에서 선택된 토큰의 수를 나타냅니다. 위쪽 행은 baseline 훈련을 나타냅니다. 3개의 시드에 대한 평균과 표준 오차가 표시됩니다.
\begin{table}
\begin{tabular}{l l l l|l l} \(S\) & \(T_{total}\) & \(T_{selected}\) & Epochs & Non-Web 스냅샷 PPL & Instruction + Answers PPL \\ \hline 랜덤 & 40B & 40B & \(1\) & \(16.27\pm 0.012\) & \(14.19\pm 0.003\) \\ & 40B & 20B & \(2\) & \(16.39\pm 0.011\) (+\(0.12\)) & \(14.37\pm 0.015\) (+\(0.18\)) \\ \hline D4 & 40B & 20B & 2 & \(\mathbf{16.10\pm 0.024}\) (-\(0.17\)) & \(\mathbf{13.85\pm 0.016}\) (\(-0.34\)) \\ \end{tabular}
\end{table}
표 1: 고정된 데이터 선택 방법과 소스 데이터 세트 크기의 경우, 새로운 토큰을 선택하는 것과 토큰을 반복하는 것의 효과를 비교합니다. 모든 모델은 40B 토큰에 대해 학습된 1.3B OPT 모델입니다. T_{selected}\)는 소스 데이터 세트에서 선택된 토큰의 수를 나타냅니다. 위쪽 행은 기본 훈련을 나타냅니다. 3개의 시드에 대한 평균과 표준 오차가 표시됩니다.