This section provides an overview of tokenization algorithms and their usage in encoder- and decoder-only transformer models.
이 섹션에서는 tokenization 알고리즘과 encoder 및 decoder 전용 Transformer 모델에서의 사용법에 대해 간략하게 설명합니다.
이 섹션에서는 토큰화 알고리즘과 인코더 및 디코더 전용 트랜스포머 모델에서의 사용법에 대해 간략하게 설명합니다.