**Long-context continual pre-training.** There is a line of work that extends the do-product attention layers and continues to train LLMs for long-context (Xiong et al., 2023; Fu et al., 2024). The attention extensions include incorporating sparsity into the attention layer (Chen et al., 2023; Ratner et al., 2022; Mohtashami and Jaggi, 2024) as well as manipulating the position encodings (Chen et al., 2023; Peng et al., 2023) Although the position encoding-based methods such as position interpolation techniques (Chen et al., 2023) can be data efficient as they only adjust the positional bias in the attention layer, they are still costly for inference.
**긴 컨텍스트의 지속적인 사전 학습**. 이 작업은 dot-product attention 계층을 확장하고 긴 컨텍스트에 대해 LLM을 계속 학습하는 작업(Xiong et al., 2023; Fu et al., 2024)이 있습니다. attention 확장에는 attention 계층에 sparsity를 통합하는 것(Chen et al., 2023; Ratner et al., 2022; Mohtashami and Jaggi, 2024)과 position encodings 조작(Chen et al., 2023; Peng et al., 2023)이 포함됩니다. position interpolation 기법(Chen et al., 2023)과 같은 position encoding 기반 방법은 attention 계층의 positional bias만 조정하기 때문에 데이터 효율적일 수 있지만, 추론 비용은 여전히 많이 듭니다.
**긴 컨텍스트의 지속적인 사전 학습**. 이 작업은 도-제품 주의 계층을 확장하고 긴 컨텍스트에 대해 LLM을 계속 학습하는 작업(Xiong et al., 2023; Fu et al., 2024)이 있습니다. 주의 확장에는 주의 계층에 스파스성을 통합하는 것(Chen et al., 2023; Ratner et al., 2022; Mohtashami and Jaggi, 2024)과 위치 인코딩 조작(Chen et al., 2023; Peng et al., 2023)이 포함됩니다. 위치 보간 기법(Chen et al., 2023)과 같은 위치 인코딩 기반 방법은 주의 계층의 위치 바이어스만 조정하기 때문에 데이터 효율적일 수 있지만, 추론 비용은 여전히 많이 듭니다.