\(\bullet\)_\(\Lambda\)-shaped context window._ Some prior work has revealed that LLMs tend to allocate greater attention weights to the starting and nearest tokens among all previous tokens [297, 298], so called the _"lost in the middle"_ phenomenon [299]. Based on this observation, LM-Infinite [300] and StreamingLLM [298] propose to employ a "\(\Lambda\)-shaped" attention mask, which selectively preserves the initial tokens and the nearest tokens that each query can attend to and then discards any tokens beyond this scope. Experiments demonstrate that this method can facilitate extra-long text generation with a fixed memory [298]. However, it may struggle to model the long-range dependency in prompts, since it cannot effectively utilize the information from the discarded tokens [298].
\(\bullet\)_\(\Lambda\)-shaped context window._ 일부 선행 연구에 따르면 LLM은 이전 토큰 중 시작 토큰과 가장 가까운 토큰에 더 큰 attention 가중치를 할당하는 경향이 있는 것으로 나타났으며, 이를 _"중간에서 잃어버린"_ 현상 [299]이라고 합니다. 이러한 관찰을 바탕으로 LM-Infinite [300]와 StreamingLLM [298]은 쿼리에서 attention을 기울일 수 있는 초기 토큰과 가장 가까운 토큰을 선택적으로 보존한 다음 이 범위를 넘어서는 모든 토큰을 삭제하는 "\(\Lambda\)-형태" attention 마스크를 사용할 것을 제안합니다. 실험 결과, 이 방법을 사용하면 고정된 메모리로 초장 텍스트를 생성할 수 있는 것으로 나타났습니다[298]. 그러나 삭제된 토큰의 정보를 효과적으로 활용할 수 없기 때문에 프롬프트의 장거리 종속성을 모델링하는 데 어려움을 겪을 수 있습니다[298].
\(\bullet\)_\(\람다\)-모양의 컨텍스트 윈도우._ 일부 선행 연구에 따르면 LLM은 이전 토큰 중 시작 토큰과 가장 가까운 토큰에 더 큰 주의도 가중치를 할당하는 경향이 있는 것으로 나타났으며, 이를 _"중간에서 잃어버린"_ 현상 [299]이라고 합니다. 이러한 관찰을 바탕으로 LM-Infinite [300]와 StreamingLLM [298]은 쿼리에서 주의를 기울일 수 있는 초기 토큰과 가장 가까운 토큰을 선택적으로 보존한 다음 이 범위를 넘어서는 모든 토큰을 삭제하는 "\(\람다\)-형태" 주의 마스크를 사용할 것을 제안합니다. 실험 결과, 이 방법을 사용하면 고정된 메모리로 초장 텍스트를 생성할 수 있는 것으로 나타났습니다[298]. 그러나 삭제된 토큰의 정보를 효과적으로 활용할 수 없기 때문에 프롬프트의 장거리 종속성을 모델링하는 데 어려움을 겪을 수 있습니다[298].