distances between keys and queries. Different from the relative positional embedding methods like T5 [82], the penalty scores in ALBi are pre-defined without any trainable parameters. Empirical results in [264] have shown that ALBi has a better extrapolation performance on sequences that are longer than those for training than several popular position embedding methods such as sinusoidal PE [22], RoPE [263], and T5 bias [82]. In addition, it has been shown that ALBi can also improve training stability in BLOOM [78].
키와 쿼리 사이의 거리입니다. T5 [82]와 같은 상대적 위치 임베딩 방법과는 달리 ALBi의 페널티 점수는 학습 가능한 파라미터 없이 사전 정의됩니다. [264]의 실험 결과에 따르면, ALBi는 sinusoidal PE [22], RoPE [263], T5 bias [82] 등 여러 인기 있는 위치 임베딩 방법보다 학습용 시퀀스보다 긴 시퀀스에 대해 더 나은 추정 성능을 보이는 것으로 나타났습니다. 또한 ALBi가 BLOOM [78]에서 훈련 안정성을 향상시킬 수 있음도 입증되었습니다.
키와 쿼리 사이의 거리입니다. T5 [82]와 같은 상대적 위치 임베딩 방법과는 달리 ALBi의 페널티 점수는 학습 가능한 파라미터 없이 사전 정의됩니다. [264]의 실험 결과에 따르면, ALBi는 사인파 PE [22], RoPE [263], T5 바이어스 [82] 등 여러 인기 있는 위치 임베딩 방법보다 학습용 시퀀스보다 긴 시퀀스에 대해 더 나은 추정 성능을 보이는 것으로 나타났습니다. 또한 ALBi가 BLOOM [78]에서 훈련 안정성을 향상시킬 수 있음도 입증되었습니다.