\begin{table}
\begin{tabular}{l c c c} \hline \hline
**Model size** & **1B** & & **7B** \\
**Dataset** & The Pile & RW & RW \\ \hline wiki-bpb \(\downarrow\) & 0.64 & 0.66 & 0.60 \\ \hline \hline \end{tabular}
\end{table}
Table 9: **Models trained on RefinedWeb achieve performance close to models trained on The Pile on Wikitext, despite not having seen any content from Wikipedia.
\begin{table}
\begin{tabular}{l c c c} \hline \hline
**Model size** & **1B** & & **7B** \\
**Dataset** & The Pile & RW & RW \\ \hline wiki-bpb \(\downarrow\) & 0.64 & 0.66 & 0.60 \\ \hline \hline \end{tabular}
\end{table}
표 9: **RefinedWeb에서 학습된 모델은 Wikipedia의 콘텐츠를 보지 못했음에도 불구하고 Wikitext에서 The Pile에서 학습된 모델에 근접한 성능을 달성합니다.
\begin{table}
\begin{tabular}{l c c c} \hline \hline
**모델 크기** & **1B** & & **7B** \\
**데이터 세트** & 더 파일 & RW & RW \\ \hline 위키-bpb \(\downarrow\) & 0.64 & 0.66 & 0.60 \\ \hline \hline \end{tabular}
\end{table}
표 9: **RefinedWeb에서 학습된 모델은 위키피디아의 콘텐츠를 보지 못했음에도 불구하고 Wikitext에서 The Pile에서 학습된 모델에 근접한 성능을 달성합니다.