Decoding refers to the process of text generation using pretrained LLMs. Given an input prompt, the tokenizer translates each token in the input text into a corresponding token ID. Then, the language model uses these token IDs as input and predicts the next most likely token (or a sequence of tokens). Finally, the model generates logits, which are converted to probabilities using a softmax function. Different decoding strategies have been proposed. Some of the most popular ones are greedy search, beam search, as well as different sample techniques such as top-K, top-P (Nucleus sampling).
디코딩은 사전 학습된 LLM을 사용하여 텍스트를 생성하는 프로세스를 말합니다. 입력 프롬프트가 주어지면 tokenizer는 입력 텍스트의 각 토큰을 해당 토큰 ID로 변환합니다. 그런 다음 language model은 이러한 토큰 ID를 입력으로 사용하여 다음으로 가능성이 높은 토큰(또는 토큰 시퀀스)을 예측합니다. 마지막으로 모델은 softmax 함수를 사용하여 확률로 변환되는 logits을 생성합니다. 다양한 디코딩 전략이 제안되었습니다. 가장 널리 사용되는 전략으로는 greedy search, beam search, top-K, top-P (Nucleus sampling) 등 다양한 샘플링 기법이 있습니다.
디코딩은 사전 학습된 LLM을 사용하여 텍스트를 생성하는 프로세스를 말합니다. 입력 프롬프트가 주어지면 토큰화 도구는 입력 텍스트의 각 토큰을 해당 토큰 ID로 변환합니다. 그런 다음 언어 모델은 이러한 토큰 ID를 입력으로 사용하여 다음으로 가능성이 높은 토큰(또는 토큰 시퀀스)을 예측합니다. 마지막으로 모델은 소프트맥스 함수를 사용하여 확률로 변환되는 로그를 생성합니다. 다양한 디코딩 전략이 제안되었습니다. 가장 널리 사용되는 전략으로는 욕심형 검색, 빔 검색, 탑-K, 탑-P(핵심 샘플링) 등 다양한 샘플링 기법이 있습니다.