In addition to the studies based on vanilla Transformer, there are a surge of Transformer variants with efficient attentions and other efficient architectures, aiming to alleviate high computational cost for modeling long texts. These studies have been extensively discussed in Section 4.2.1 and Section 4.2.2. Furthermore, context compression and prompting techniques (_e.g.,_ iterative reasoning [303]) have also been proven to be a viable strategy for handling long text tasks [304, 305, 306, 303], without the need of model adaption.
바닐라 Transformer를 기반으로 한 연구 외에도, 긴 텍스트 모델링을 위한 높은 계산 비용을 완화하기 위해 효율적인 attention과 기타 효율적인 아키텍처를 갖춘 Transformer 변형이 급증하고 있습니다. 이러한 연구는 섹션 4.2.1 및 섹션 4.2.2에서 광범위하게 논의되었습니다. 또한, 문맥 압축 및 프롬프트 기술(_예:_ 반복 추론 [303])도 모델 적응 없이도 긴 텍스트 작업을 처리하기 위한 실행 가능한 전략임이 입증되었습니다 [304, 305, 306, 303].
바닐라 트랜스포머를 기반으로 한 연구 외에도, 긴 텍스트 모델링을 위한 높은 계산 비용을 완화하기 위해 효율적인 주의력과 기타 효율적인 아키텍처를 갖춘 트랜스포머 변형이 급증하고 있습니다. 이러한 연구는 섹션 4.2.1 및 섹션 4.2.2에서 광범위하게 논의되었습니다. 또한, 문맥 압축 및 프롬프트 기술(_예:_ 반복 추론 [303])도 모델 적응 없이도 긴 텍스트 작업을 처리하기 위한 실행 가능한 전략임이 입증되었습니다 [304, 305, 306, 303].