Footnote 23: We utilize the symbol “\(\rightarrow\)” to represent the data order in data curriculum. For example, “2T webpage tokens \(\rightarrow\) 500B code tokens” means that the LLM is firstly trained with 2T webpage tokens and subsequently with 500B code data tokens.
Footnote 23: 우리는 데이터 커리큘럼에서 데이터 순서를 나타내기 위해 기호 "\(\rightarrow\)"를 사용합니다. 예를 들어, "2T 웹페이지 토큰 \(\rightarrow\) 500B 코드 토큰"은 LLM이 먼저 2T 웹페이지 토큰으로 훈련되고 그 후에 500B 코드 데이터 토큰으로 훈련된다는 것을 의미합니다.
각주 23: 데이터 커리큘럼에서 데이터 순서를 나타내기 위해 "(\rightarrow)" 기호를 사용합니다. 예를 들어, "2T 웹페이지 토큰 \(\rightarrow\) 500B 코드 토큰"은 LLM이 먼저 2T 웹페이지 토큰으로 학습한 후 500B 코드 데이터 토큰으로 학습한다는 의미입니다.