\(\bullet\)_Decoding strategy optimization_ aims to improve the sequential nature of the auto-regressive generation manner in different ways. As a representative study, _speculative decoding_[323, 324] first leverages a compact but efficient model (_e.g._, a \(n\)-gram model or a small PLM) to generate short segments and then utilizes the LLM to verify and correct these drafts. It can lead to a notable \(2\times\) to \(3\times\) speedup without compromising the generation quality. Researchers further suggest several variants to improve the efficiency of this approach, such as a learning-based method to combine several small models [325] and a stage-wise acceleration which employs a more smaller LM to accelerate the small LM first [326]. In addition, token-level early-exit techniques have been proposed enabling the generation of a token at lower Transformer layers, rather than passing through all the layers [327]. It can attain greater speedup, but at the cost of sacrificing generation quality.
\(\bullet\)_Decoding strategy optimization_는 다양한 방식으로 auto-regressive generation 방식의 순차적 특성을 개선하는 것을 목표로 합니다. 대표적인 연구로, _speculative decoding_[323, 324]은 먼저 컴팩트하지만 효율적인 모델(_예: n-gram 모델 또는 소형 PLM)을 활용하여 짧은 세그먼트를 생성한 다음 LLM을 활용하여 이러한 초안을 검증하고 수정합니다. 이를 통해 생성 품질 저하 없이 2배에서 3배까지 속도를 높일 수 있습니다. 연구자들은 여러 개의 소형 모델을 결합하는 학습 기반 방법[325]과 단계별 가속화 방법[326] 등 이 접근 방식의 효율성을 개선하기 위한 몇 가지 변형을 제안했습니다. 또한 token-level early-exit 기술이 제안되어 모든 Transformer 레이어를 통과하는 대신 더 낮은 Transformer 레이어에서 토큰을 생성할 수 있습니다[327]. 이 기술은 더 큰 속도 향상을 달성할 수 있지만 생성 품질을 희생해야 합니다.
\(\bullet\)_디코딩 전략 최적화_는 다양한 방식으로 자동 회귀 생성 방식의 순차적 특성을 개선하는 것을 목표로 합니다. 대표적인 연구로, _사측 디코딩_[323, 324]은 먼저 컴팩트하지만 효율적인 모델(_예: n\그램 모델 또는 소형 PLM)을 활용하여 짧은 세그먼트를 생성한 다음 LLM을 활용하여 이러한 초안을 검증하고 수정합니다. 이를 통해 생성 품질 저하 없이 2배에서 3배까지 속도를 높일 수 있습니다. 연구자들은 여러 개의 소형 모델을 결합하는 학습 기반 방법[325]과 단계별 가속화 방법[326] 등 이 접근 방식의 효율성을 개선하기 위한 몇 가지 변형을 제안했습니다. 또한 토큰 수준 조기 종료 기술이 제안되어 모든 레이어를 통과하는 대신 더 낮은 트랜스포머 레이어에서 토큰을 생성할 수 있습니다[327]. 이 기술은 더 큰 속도 향상을 달성할 수 있지만 생성 품질을 희생해야 합니다.