The longer the context length, the more tokens we can squeeze into the context. The more information the model has access to, the better its response will be. But on the other hand, with very long context, it would be hard for the model to remember everything and efficiently process all the information. Attention-based models are highly inefficient for longer contexts and that is why we should expect more research in different mechanisms that enable processing longer contexts and generally come up with more efficient architectures.
문맥 길이가 길수록 더 많은 토큰을 문맥에 넣을 수 있습니다. 모델이 접근할 수 있는 정보가 많을수록 응답이 더 좋아집니다. 하지만 반대로, 문맥이 너무 길면 모델이 모든 것을 기억하고 효율적으로 처리하기 어려워집니다. Attention 기반 모델은 긴 문맥에 대해 매우 비효율적이며, 그렇기 때문에 더 긴 문맥을 처리할 수 있는 다양한 메커니즘과 더 효율적인 아키텍처를 개발하기 위한 연구가 더 많이 필요합니다.
컨텍스트 길이가 길수록 컨텍스트에 더 많은 토큰을 압축할 수 있습니다. 모델이 더 많은 정보에 액세스할 수 있을수록 응답이 더 좋아집니다. 하지만 반면에 컨텍스트가 너무 길면 모델이 모든 것을 기억하고 모든 정보를 효율적으로 처리하기 어려울 수 있습니다. 주의 기반 모델은 긴 컨텍스트에 대해서는 매우 비효율적이기 때문에 더 긴 컨텍스트를 처리할 수 있는 다양한 메커니즘을 연구하고 일반적으로 더 효율적인 아키텍처를 개발해야 합니다.