Figure A14: Comparison of repeating tokens with D4 (pink line), randomly selecting new tokens (horizontal dashed gray line), and randomly repeating data (gray line). We see with different epoch numbers. The y-axis denotes perplexity, and x-axis denotes number of epochs.
그림 A14: 반복 토큰과 D4(분홍색 선), 새로운 토큰을 무작위로 선택(가로 점선 회색 선), 데이터를 무작위로 반복(회색 선)을 비교한 그림입니다. 다양한 epoch 번호로 확인할 수 있습니다. Y축은 perplexity를 나타내고 X축은 epoch 수를 나타냅니다.
그림 A14: 반복 토큰과 D4(분홍색 선), 새로운 토큰을 무작위로 선택(가로 점선 회색 선), 데이터를 무작위로 반복(회색 선)을 비교한 그림입니다. 다양한 에포크 번호로 확인할 수 있습니다. Y축은 당혹감을 나타내고 X축은 에포크 수를 나타냅니다.