Long-context models overemphasize book endings:One interesting observation is that Claude-3-Opus and GPT-4-Turbo, which both have chunk sizes \(\geq\) 100K, tend to place more emphasis on the endings of the books to the detriment of the beginning.
긴 컨텍스트 모델은 책의 결말을 지나치게 강조합니다: 한 가지 흥미로운 관찰은 chunk 크기가 모두 100K 이상인 Claude-3-Opus와 GPT-4-Turbo가 책의 시작 부분에 치명적인 손해를 주는 대신 결말에 더 많은 강조를 두는 경향이 있다는 것입니다.
긴 컨텍스트 모델은 책의 결말을 지나치게 강조합니다: 한 가지 흥미로운 관찰은 덩어리 크기가 모두 100K 이상인 클로드-3-오푸스와 GPT-4-터보가 책의 시작 부분에 치명적인 손해를 주는 대신 결말에 더 많은 강조를 두는 경향이 있다는 것입니다.