Figure A13: Effect of repeating tokens across data selection methods over training. X-axis denotes the number of updates, and the y-axis denotes average perplexity across non-web-snapshot validation sets (top row) and Instruct OPT (bottom row). Each column in the plot above denotes a different data selection method. Within each column: (1) the gray line denotes baseline training, (2) the colored-dashed line denotes repeating tokens via the specified data selection method, and (3) the colored-solid line denotes selecting new tokens via the specified data selection method. Repeating data is generally worse than selecting new data for a _fixed data selection method_ (e.g., fixed column).
그림 A13: 훈련에 따른 데이터 선택 방법에 걸친 반복 토큰의 효과. X축은 업데이트 횟수를 나타내고, Y축은 웹 스냅샷이 아닌 유효성 검사 세트(위쪽 행)와 Instruct OPT(아래쪽 행)의 평균 Perplexity를 나타냅니다. 위 플롯의 각 열은 서로 다른 데이터 선택 방법을 나타냅니다. 각 열 내에서 (1) 회색 선은 baseline 훈련을, (2) 색상 점선은 지정된 데이터 선택 방법을 통한 토큰 반복을, (3) 색상 실선은 지정된 데이터 선택 방법을 통한 새 토큰 선택을 나타냅니다. 반복 데이터는 일반적으로 _고정된 데이터 선택 방법_(예: 고정 열)에 대해 새 데이터를 선택하는 것보다 더 나쁩니다.
그림 A13: 훈련에 따른 데이터 선택 방법에 걸친 반복 토큰의 효과. X축은 업데이트 횟수를 나타내고, Y축은 웹 스냅샷이 아닌 유효성 검사 세트(위쪽 행)와 Instruct OPT(아래쪽 행)의 평균 당혹도를 나타냅니다. 위 플롯의 각 열은 서로 다른 데이터 선택 방법을 나타냅니다. 각 열 내에서 (1) 회색 선은 기준선 훈련을, (2) 색상 점선은 지정된 데이터 선택 방법을 통한 토큰 반복을, (3) 색상 실선은 지정된 데이터 선택 방법을 통한 새 토큰 선택을 나타냅니다. 반복 데이터는 일반적으로 _고정된 데이터 선택 방법_(예: 고정 열)에 대해 새 데이터를 선택하는 것보다 더 나쁩니다.