This adds only a single scalar value as training parameter per head while allowing a learnable trade-off between the long-term and local information flows in the model (Wu et al., 2022).
이는 각 헤드당 하나의 스칼라 값을 훈련 매개변수로 추가하면서 모델 내에서 장기 및 로컬 정보 흐름 간의 학습 가능한 균형을 허용합니다 (Wu et al., 2022).
이는 모델의 장기 및 로컬 정보 흐름 간에 학습 가능한 트레이드오프를 허용하면서 헤드당 단일 스칼라 값만을 훈련 파라미터로 추가한다(Wu et al., 2022).