Self-Rag further enables a customizable decoding algorithm to satisfy hard or soft constraints, which are defined by reflection token predictions. In particular, our inference-time algorithm enables us to (1) flexibly adjust retrieval frequency for different downstream applications and (2) customize models' behaviors to user preferences by leveraging reflection tokens through segment-level beam search using the weighted linear sum of the reflection token probabilities as segment score.
Self-Rag는 reflection token 예측에 의해 정의되는 하드 또는 소프트 제약 조건을 만족하도록 사용자 지정 가능한 decoding 알고리즘을 더욱 활성화합니다. 특히, 우리의 추론 시간 알고리즘을 통해 (1) 다양한 다운스트림 애플리케이션에 대해 retrieval 빈도를 유연하게 조정하고 (2) reflection token 확률의 가중 선형 합을 세그먼트 점수로 사용하여 세그먼트 수준 beam search를 통해 reflection token을 활용하여 사용자 선호도에 따라 모델의 동작을 사용자 지정할 수 있습니다.
Self-Rag는 반사 토큰 예측에 의해 정의되는 하드 또는 소프트 제약 조건을 만족하도록 사용자 지정 가능한 디코딩 알고리즘을 더욱 활성화합니다. 특히, 우리의 추론 시간 알고리즘을 통해 (1) 다양한 다운스트림 애플리케이션에 대해 검색 빈도를 유연하게 조정하고 (2) 반사 토큰 확률의 가중 선형 합을 세그먼트 점수로 사용하여 세그먼트 수준 빔 검색을 통해 반사 토큰을 활용하여 사용자 선호도에 따라 모델의 동작을 사용자 지정할 수 있습니다.