Character Tokenization.Tokenization can also be performed on a character level or based on UTF-8 bytes. However, this results in an increased sequence length, which becomes computationally expensive in the transformer architecture, the current predominated architecture for LLMs due to the quadratic complexity of the self-attention layer in the sequence length (Vaswani et al., 2017). Though, several approaches have been proposed to address this limitation (Gao et al., 2020; Tay et al., 2021; Xue et al., 2022; Clark et al., 2022; Yu et al., 2023).
캐릭터 Tokenization. Tokenization은 문자 수준 또는 UTF-8 바이트를 기반으로 수행할 수도 있습니다. 그러나 이렇게 하면 시퀀스 길이가 늘어나서 Transformer 아키텍처에서 계산 비용이 많이 들게 되는데, 이는 시퀀스 길이에서 self-attention 계층의 이차적 복잡성으로 인해 현재 LLM의 주요 아키텍처가 되고 있습니다(Vaswani et al., 2017). 그러나 이러한 한계를 해결하기 위해 여러 가지 접근 방식이 제안되었습니다(Gao et al., 2020; Tay et al., 2021; Xue et al., 2022; Clark et al., 2022; Yu et al., 2023).
캐릭터 토큰화.토큰화는 문자 수준 또는 UTF-8 바이트를 기반으로 수행할 수도 있습니다. 그러나 이렇게 하면 시퀀스 길이가 늘어나서 트랜스포머 아키텍처에서 계산 비용이 많이 들게 되는데, 이는 시퀀스 길이에서 자기 주의 계층의 이차적 복잡성으로 인해 현재 LLM의 주요 아키텍처가 되고 있습니다(Vaswani et al., 2017). 그러나 이러한 한계를 해결하기 위해 여러 가지 접근 방식이 제안되었습니다(Gao et al., 2020; Tay et al., 2021; Xue et al., 2022; Clark et al., 2022; Yu et al., 2023).