When generating a new token, the most time-consuming steps revolve around data transfer and weight computation. A main issue is the significant amount of time overwhelmed by data transfer, often referred to as the _memory wall_ issue.
새 토큰을 생성할 때 가장 많은 시간이 소요되는 단계는 데이터 전송 및 weight 계산과 관련이 있습니다. 주요 문제는 데이터 전송에 압도되는 상당한 시간으로, 종종 _memory wall_ 문제라고 합니다.
새 토큰을 생성할 때 가장 많은 시간이 소요되는 단계는 데이터 전송 및 가중치 계산과 관련이 있습니다. 주요 문제는 데이터 전송에 압도되는 상당한 시간으로, 종종 _메모리 벽_ 문제라고 합니다.