\(\bullet\)_Parallel context window._ Inspired by fusion-in-decoder [294], parallel context window methods [295, 296] adopt a divide-and-conquer strategy to process input text. Specially, it divides the input text into multiple segments, each independently encoded with shared position embeddings. In the generation stage, the attention masks are modified to make that subsequent tokens can access to previous tokens in each segment. Nevertheless, this method cannot distinguish the order of different segments, constraining the model capacity on certain tasks.
\(\bullet\)_Parallel context window._ 병렬 컨텍스트 창 방법[294, 296]은 fusion-in-decoder[294]에서 영감을 받아 divide-and-conquer 전략을 채택하여 입력 텍스트를 처리합니다. 특히 입력 텍스트를 여러 세그먼트로 나누고, 각 세그먼트는 공유 위치 임베딩으로 독립적으로 인코딩됩니다. 생성 단계에서는 attention 마스크를 수정하여 후속 토큰이 각 세그먼트의 이전 토큰에 액세스할 수 있도록 합니다. 그러나 이 방법은 서로 다른 세그먼트의 순서를 구분할 수 없으므로 특정 작업에서 모델 용량이 제한됩니다.
\(\bullet\)_병렬 컨텍스트 창._ 병렬 컨텍스트 창 방법[294, 296]은 퓨전 인 디코더[294]에서 영감을 받아 분할 및 정복 전략을 채택하여 입력 텍스트를 처리합니다. 특히 입력 텍스트를 여러 세그먼트로 나누고, 각 세그먼트는 공유 위치 임베딩으로 독립적으로 인코딩됩니다. 생성 단계에서는 주의 마스크를 수정하여 후속 토큰이 각 세그먼트의 이전 토큰에 액세스할 수 있도록 합니다. 그러나 이 방법은 서로 다른 세그먼트의 순서를 구분할 수 없으므로 특정 작업에서 모델 용량이 제한됩니다.