**Demonstration Order.** LLMs are shown to sometimes suffer from the recency bias, _i.e._, they are prone to repeat answers that are near the end of demonstrations [479]. Thus, it is important to arrange demonstrations (_i.e._, task examples) in a reasonable order. Early work proposes several heuristic methods to quickly find a good order. For example, demonstrations can be directly organized according to their similarity to the query in the embedding space [428]: the more similar, the closer to the end. In addition, global and local entropy metrics can be used to score different demonstration orders [432]. To integrate more task information, some recent studies propose to minimize the code length required to compress and transmit task labels, which is inspired by information theory [489]. However, these methods need additional labeled data as the validation set to evaluate the performance of specific demonstration orders. To eliminate this need, the authors in [432] propose to sample the validation data from the LLM itself.
**Demonstration Order.** LLM은 때때로 최신성 편향(recency bias)을 겪는 것으로 나타났습니다. 즉, 시연의 끝부분에 가까운 답변을 반복하는 경향이 있습니다 [479]. 따라서 시연(즉, 작업 예제)을 합리적인 순서로 배열하는 것이 중요합니다. 초기 연구에서는 좋은 순서를 빠르게 찾기 위한 여러 휴리스틱 방법을 제안합니다. 예를 들어, 시연은 임베딩 공간에서 쿼리와의 유사성에 따라 직접적으로 조직될 수 있습니다 [428]: 더 유사할수록 끝에 더 가깝게 배치됩니다. 또한, 전역 및 지역 엔트로피 메트릭을 사용하여 다양한 시연 순서를 평가할 수 있습니다 [432]. 더 많은 작업 정보를 통합하기 위해, 최근 연구에서는 정보 이론에서 영감을 받아 작업 레이블을 압축하고 전송하는 데 필요한 코드 길이를 최소화하는 방법을 제안합니다 [489]. 그러나 이러한 방법은 특정 시연 순서의 성능을 평가하기 위해 추가적인 라벨링된 데이터를 검증 세트로 필요로 합니다. 이 필요성을 제거하기 위해, [432]의 저자들은 검증 데이터를 LLM 자체에서 샘플링할 것을 제안합니다.
**데모 순서**. LLM은 최근 편향성, 즉 데모의 마지막에 가까운 답변을 반복하는 경향이 있는 것으로 나타났습니다[479]. 따라서 데모(즉, 작업 예제)를 합리적인 순서로 정리하는 것이 중요합니다. 초기 연구에서는 좋은 순서를 빠르게 찾기 위한 몇 가지 휴리스틱 방법을 제안합니다. 예를 들어, 임베딩 공간에서 쿼리와 유사도에 따라 데모를 직접 구성할 수 있습니다[428]. 유사도가 높을수록 끝에 가까워집니다. 또한 글로벌 및 로컬 엔트로피 메트릭을 사용하여 다양한 데모 순서에 점수를 매길 수 있습니다[432]. 작업 정보를 더 많이 통합하기 위해 최근 일부 연구에서는 정보 이론에서 영감을 받아 작업 레이블을 압축하고 전송하는 데 필요한 코드 길이를 최소화할 것을 제안합니다[489]. 그러나 이러한 방법은 특정 데모 순서의 성능을 평가하기 위해 유효성 검사 집합으로 추가 라벨이 지정된 데이터가 필요합니다. 이러한 필요성을 제거하기 위해 [432]의 저자들은 유효성 검사 데이터를 LLM 자체에서 샘플링할 것을 제안합니다.