Figure 9: Scaling laws for GPT2 pretrained on \(\mathsf{bioS}(N)\) data with fp16 (mixed-precision) for 1000/100 exposures, **now including 1-layer transformers** comparing to Figure 1. **Conclusion: 1-layer transformers show a minor capacity ratio deficiency, especially in the 100-exposure setting.
그림 9: 1000/100 노출에 대해 fp16(mixed-precision)으로 \(\mathsf{bioS}(N)\) 데이터에 대해 사전 학습된 GPT2의 scaling laws, **이제 1-layer Transformers를 포함하여** 그림 1과 비교합니다. **결론: 1-layer Transformers는 특히 100 노출 설정에서 약간의 용량 비율 결핍을 보입니다.
그림 9: 1000/100 노출에 대해 fp16(혼합 정밀도)으로 \(\mathsf{bioS}(N)\) 데이터에 대해 사전 학습된 GPT2의 스케일링 법칙, **이제 1-레이어 트랜스포머를 포함하여** 그림 1과 비교합니다. **결론: 1-레이어 트랜스포머는 특히 100 노출 설정에서 약간의 용량 비율 결핍을 보입니다.