LLMs have shown impressive capabilities in many downstream tasks in a zero/few-shot setting such as summarization, reading comprehension, translation, and commonsense reasoning Brown et al. (2020); Touvron et al. (2023). To train a LLM, the currently established approach is to employ a tokenizer that splits the training documents into tokens where a token represents a word Bengio et al. (2000), a sub-word Schuster and Nakajima (2012); Sennrich et al. (2015); Wang et al. (2020), or a single character Gao et al. (2020), and each token is represented in the model by an embedding vector that can be further processed.
LLM은 요약, 독해, 번역, 상식 추론 등 다양한 다운스트림 작업에서 zero/few-shot 설정에서 인상적인 기능을 보여주었습니다(Brown et al., 2020; Touvron et al., 2023). LLM을 훈련하기 위해 현재 확립된 접근 방식은 토큰이 단어를 나타내는 tokenizer를 사용하여 훈련 문서를 토큰으로 분할하는 것입니다 Bengio et al. (2000), 하위 단어 Schuster and Nakajima (2012); Sennrich et al. (2015); Wang et al. (2020), 또는 단일 문자 Gao et al. (2020)로 표현되며, 각 토큰은 추가 처리할 수 있는 embedding 벡터로 모델에 표현됩니다.
LLM은 요약, 독해, 번역, 상식 추론 등 다양한 다운스트림 작업에서 제로/소수 샷 설정에서 인상적인 기능을 보여주었습니다(Brown et al., 2020; Touvron et al., 2023). LLM을 훈련하기 위해 현재 확립된 접근 방식은 토큰이 단어를 나타내는 토큰화 도구를 사용하여 훈련 문서를 토큰으로 분할하는 것입니다 Bengio et al. (2000), 하위 단어 Schuster and Nakajima (2012); Sennrich et al. (2015); Wang et al. (2020), 또는 단일 문자 Gao et al. (2020)로 표현되며, 각 토큰은 추가 처리할 수 있는 임베딩 벡터로 모델에 표현됩니다.