Long-context Window SupportWe implement and improve computation-communication overlapping, sequence parallelism, and communication compression to support up to 200K context length continue pretraining and finetuning. Our method to scale the context length to 200K is _solely_ based on engineering, that is to say, we do not modify the model architecture like sparse, local, or sliding window attention - the model remains using the full attention even the input is 200K.
긴 컨텍스트 윈도우 지원최대 200K 컨텍스트 길이 계속 학습 및 Fine-tuning을 지원하기 위해 계산-통신 중첩, 시퀀스 병렬 처리 및 통신 압축을 구현하고 개선했습니다. 컨텍스트 길이를 200K로 확장하는 방법은 전적으로 엔지니어링에 기반한 것으로, 즉 희소, 로컬 또는 슬라이딩 윈도우 attention과 같은 모델 아키텍처를 수정하지 않으며 입력이 200K인 경우에도 모델은 전체 attention을 사용합니다.
긴 컨텍스트 윈도우 지원최대 200K 컨텍스트 길이 계속 학습 및 미세 조정을 지원하기 위해 계산-통신 중첩, 시퀀스 병렬 처리 및 통신 압축을 구현하고 개선했습니다. 컨텍스트 길이를 200K로 확장하는 방법은 전적으로 엔지니어링에 기반한 것으로, 즉 희소, 로컬 또는 슬라이딩 윈도우 주의와 같은 모델 아키텍처를 수정하지 않으며 입력이 200K인 경우에도 모델은 전체 주의를 사용합니다.