**Decoding Efficiency Issues.** In this part, we briefly analyze the decoding efficiency issues of LLMs. Overall, the decoding process of LLMs can be divided into two stages for overhead analysis: (1) the _prefill_ stage, which computes the hidden states of the input sequence, and (2) the _incremental decoding_ stage, which generates a token and updates hidden states in an auto-regressive manner [321]. As shown in the above _memory wall_ box, the arithmetic intensity of the incremental decoding stage is only \(1.97\), which is far from the expected value of 156 (calculated according to the standard configuration of A100 80GB GPU). In contrast, the arithmetic intensity of the prefill stage achieves \(113.78\) for LLaMA-13B.
**Decoding Efficiency Issues.** 이 부분에서는 LLM의 decoding 효율성 문제를 간략하게 분석합니다. 전반적으로 LLM의 decoding 프로세스는 오버헤드 분석을 위해 두 단계로 나눌 수 있습니다: (1) 입력 시퀀스의 숨겨진 상태를 계산하는 _prefill_ 단계와 (2) 토큰을 생성하고 숨겨진 상태를 auto-regressive 방식으로 업데이트하는 _incremental decoding_ 단계[321]. 위의 _memory wall_ 박스에 표시된 바와 같이, incremental decoding 단계의 연산 강도는 1.97에 불과하여 예상치인 156(A100 80GB GPU의 표준 구성에 따라 계산)에 훨씬 못 미칩니다. 이와 대조적으로, prefill 단계의 연산 강도는 LLaMA-13B의 경우 113.78에 달합니다.
**효율성 문제 해독**. 이 부분에서는 LLM의 디코딩 효율성 문제를 간략하게 분석합니다. 전반적으로 LLM의 디코딩 프로세스는 오버헤드 분석을 위해 두 단계로 나눌 수 있습니다: (1) 입력 시퀀스의 숨겨진 상태를 계산하는 _프리필_ 단계와 (2) 토큰을 생성하고 숨겨진 상태를 자동 회귀 방식으로 업데이트하는 _점진적 디코딩_ 단계[321]. 위의 _메모리 월_ 박스에 표시된 바와 같이, 점진적 디코딩 단계의 연산 강도는 1.97에 불과하여 예상치인 156(A100 80GB GPU의 표준 구성에 따라 계산)에 훨씬 못 미칩니다. 이와 대조적으로, 프리필 단계의 연산 강도는 LLaMA-13B의 경우 113.78에 달합니다.