Following Allen-Zhu & Li (2023b), we employ GPT2-small (12 layers, 12 heads, and 768 dimensions) for the bioS dataset and GPT2 with 12 layers, 20 heads, and 1280 dimensions for the bioR dataset. We also utilize the same AdamW optimizer with cosine learning rate decay (\(\beta_{1}=0.9,\beta_{2}=0.98,\epsilon=10^{-6}\)).
Allen-Zhu & Li(2023b)에 따라 bioS 데이터 세트에는 12개 레이어, 12개 헤드, 768개 차원의 GPT2-small을, bioR 데이터 세트에는 12개 레이어, 20개 헤드, 1280개 차원의 GPT2를 사용합니다. 또한 cosine learning rate decay(\(\beta_{1}=0.9,\beta_{2}=0.98,\epsilon=10^{-6}\))를 사용하여 동일한 AdamW optimizer를 활용합니다.
Allen-Zhu & Li(2023b)에 따라 바이오S 데이터 세트에는 12개 레이어, 12개 헤드, 768개 차원의 GPT2-small을, 바이오R 데이터 세트에는 12개 레이어, 20개 헤드, 1280개 차원의 GPT2를 사용합니다. 또한 코사인 학습률 감소(\(\beta_{1}=0.9,\beta_{2}=0.98,\epsilon=10^{-6}\))를 사용하여 동일한 AdamW 옵티마이저를 활용합니다.