We first train a series of GPT2 models on the \(\mathsf{bioS}(N)\) datasets (see Section 2.2) using mixed-precision fp16. The training protocol ensures that each piece of knowledge is presented 1000 times, a process we refer to as "1000 exposures." It's important to clarify that this differs from making 1000 passes over the data. For example, a single pass through Wiki data might expose the knowledge (US, capital, Washington D.C.) 1000 times, whereas a pass through the Common Crawl might do so a million times.
우리는 먼저 \(\mathsf{bioS}(N)\) 데이터셋(섹션 2.2 참조)에서 혼합 정밀도 fp16을 사용하여 일련의 GPT2 모델을 훈련시킵니다. 훈련 프로토콜은 각 지식 조각이 1000번 제시되도록 보장하며, 이를 "1000번 노출"이라고 부릅니다. 이는 데이터를 1000번 반복하는 것과는 다르다는 점을 명확히 하는 것이 중요합니다. 예를 들어, Wiki 데이터를 한 번 통과하는 동안 (미국, 수도, 워싱턴 D.C.)라는 지식을 1000번 노출할 수 있는 반면, Common Crawl을 한 번 통과하는 동안에는 백만 번 노출할 수 있습니다.
먼저 혼합 정밀도 fp16을 사용하여 \(\mathsf{bioS}(N)\) 데이터 세트(2.2절 참조)에 대해 일련의 GPT2 모델을 훈련합니다. 훈련 프로토콜은 각 지식이 1000번 제시되도록 보장하며, 이 과정을 "1000 노출"이라고 합니다. 이는 데이터를 1000번 통과하는 것과는 다르다는 점을 명확히 하는 것이 중요합니다. 예를 들어, 위키 데이터를 한 번 통과하면 해당 지식(미국, 수도, 워싱턴 D.C.)이 1000번 노출될 수 있지만, 커먼 크롤링을 통과하면 백만 번 노출될 수 있습니다.