Model sizes for datasets \(\mathsf{bioS}(N)\) with \(N\geq 2M\).In the \(1000\)-exposure setting, to conserve computational resources, when exploring scaling laws for \(N=2M,5M,10M,20M\), we concentrate on _one model size_ per dataset -- specifically GPT2-16-8, GPT2-6-20, GPT2-20-16, GPT2-25-20 -- as they approach the 2bit/param threshold (i.e., they satisfy \(R^{\mathsf{max}}(F)\approx 2\)). In this context, our key finding is the validation of the 2bit/param capacity ratio, thus examining a limited selection of model sizes is adequate.
데이터 세트 \(\mathsf{bioS}(N)\)의 모델 크기는 \(N\geq 2M\)입니다.\(1000\)-노출 설정에서 계산 리소스를 절약하기 위해 \(N=2M,5M,10M,20M\)의 scaling laws를 탐색할 때 데이터 세트당 _하나의 모델 크기_ (특히 GPT2-16-8, GPT2-6-20, GPT2-20-16, GPT2-25-20)에 집중하여 2bit/param 임계값에 가까워지도록 합니다(즉, \(R^{\mathsf{max}}(F)\approx 2\)를 만족합니다). 이러한 맥락에서 우리의 주요 발견은 2bit/param 용량 비율의 검증이므로 제한된 선택의 모델 크기를 검토하는 것만으로도 충분합니다.
데이터 세트 \(\mathsf{bioS}(N)\)의 모델 크기는 \(N\geq 2M\)입니다.\(1000\)-노출 설정에서 계산 리소스를 절약하기 위해 \(N=2M,5M,10M,20M\)의 스케일링 법칙을 탐색할 때 데이터 세트당 _하나의 모델 크기_ (특히 GPT2-16-8, GPT2-6-20, GPT2-20-16, GPT2-25-20)에 집중하여 2비트/파라미터 임계값에 가까워지도록 합니다(즉, \(R^{\mathsf{max}}(F)\약 2\)를 만족합니다). 이러한 맥락에서 우리의 주요 발견은 2비트/파라미터 용량 비율의 검증이므로 제한된 선택의 모델 크기를 검토하는 것만으로도 충분합니다.