LLM reasoning and manually annotated reasoning chains impose expensive overheads. Aggarwal et al. (2023) improves self-consistency by dynamically adjusting the number of samples, which can significantly reduce inference costs with marginal performance degradation. Ning et al. (2023) decomposed the questions in parallel and handled them simultaneously, reducing the reasoning time overhead. But it cannot handle complex questions. Zhang et al. (2023) accelerates the reasoning by selectively skipping some intermediate layers and then verifies the draft in another forward pass. Diao et al. (2023) borrows ideas from active learning to annotate examples with high uncertainty, reducing the human annotating cost.
LLM reasoning과 수동으로 주석을 달은 reasoning 체인은 값비싼 오버헤드를 부과합니다. Aggarwal et al. (2023)은 샘플 수를 동적으로 조정하여 self-consistency를 개선함으로써 추론 비용을 크게 줄일 수 있으며, 성능 저하도 미미합니다. Ning et al. (2023)은 질문을 병렬로 분해하여 동시에 처리함으로써 reasoning 시간 오버헤드를 줄였습니다. 하지만 복잡한 질문은 처리할 수 없습니다. Zhang et al. (2023)은 일부 중간 layer를 선택적으로 건너뛴 다음 다른 순방향 패스에서 초안을 검증하여 reasoning 속도를 높였습니다. Diao et al. (2023)은 active learning에서 아이디어를 차용하여 불확실성이 높은 예제에 주석을 달아 사람이 주석을 달는 비용을 줄였습니다.
LLM 추론과 수동으로 주석을 달은 추론 체인은 값비싼 오버헤드를 부과합니다. Aggarwal et al. (2023)은 샘플 수를 동적으로 조정하여 자체 일관성을 개선함으로써 추론 비용을 크게 줄일 수 있으며, 성능 저하도 미미합니다. Ning et al. (2023)은 질문을 병렬로 분해하여 동시에 처리함으로써 추론 시간 오버헤드를 줄였습니다. 하지만 복잡한 질문은 처리할 수 없습니다. Zhang et al. (2023)은 일부 중간 레이어를 선택적으로 건너뛴 다음 다른 순방향 패스에서 초안을 검증하여 추론 속도를 높였습니다. Diao et al. (2023)은 능동 학습에서 아이디어를 차용하여 불확실성이 높은 예제에 주석을 달아 사람이 주석을 달는 비용을 줄였습니다.