We trained and evaluated small Infini-Transformer models on PG19 (Rae et al., 2019) and Arxiv-math (Wu et al., 2022) benchmarks. Our setup closely resembles that of Memorizing Transformers (Wu et al., 2022). Namely, all our models have 12 layers and 8 attention heads of dimension 128 each and FFNs with hidden layer 4096.
PG19(Rae et al., 2019) 및 Arxiv-math(Wu et al., 2022) 벤치마크에서 소형 Infini-Transformer 모델을 훈련하고 평가했습니다. 우리의 설정은 Memorizing Transformers(Wu et al., 2022)의 설정과 매우 유사합니다. 즉, 모든 모델은 12개의 레이어와 각각 128차원의 8개의 attention heads와 4096개의 숨겨진 레이어가 있는 FFN을 가지고 있습니다.
PG19(Rae et al., 2019) 및 Arxiv-math(Wu et al., 2022) 벤치마크에서 소형 인피니 트랜스포머 모델을 훈련하고 평가했습니다. 우리의 설정은 Memorizing Transformers(Wu et al., 2022)의 설정과 매우 유사합니다. 즉, 모든 모델은 12개의 레이어와 각각 128차원의 8개의 주의 헤드와 4096개의 숨겨진 레이어가 있는 FFN을 가지고 있습니다.