Recall from Section 10 that our dataset is a mixture, with 1/8 of the tokens coming from \(\mathsf{bioS}(N)\) for various \(N\) (referred to as "useful data"), and the remaining 7/8 from "junk data." We explored three scenarios:
Section 10에서 언급했듯이, 우리의 데이터셋은 혼합된 형태로, 다양한 \(N\)에 대한 \(\mathsf{bioS}(N)\)에서 1/8의 토큰이 나오고(이를 "유용한 데이터"라고 함), 나머지 7/8은 "쓸모없는 데이터"로 구성되어 있습니다. 우리는 세 가지 시나리오를 탐구했습니다.
섹션 10에서 데이터 집합이 혼합되어 있으며, 토큰의 1/8은 다양한 \(N\)에 대해 \(\mathsf{bioS}(N)\)에서 나오고(이를 "유용한 데이터"라고 함), 나머지 7/8은 "정크 데이터"에서 나온다는 것을 기억하세요. 우리는 세 가지 시나리오를 살펴봤습니다: