README.md

metadata

language: ko
license: apache-2.0

hyunwoo3235/t5-v1_1-base-ko

Google's T5 Version 1.1 that trained on korean corpus

t5-v1_1-base-ko은 한국어 코퍼스에서 학습된 t5 v1.1 모델입니다.

OOV을 막기 위해 BBPE를 사용하였으며, HyperCLOVA에서 형태소 분석이 성능을 높히는데 도움이 되는 것을 보고 토크나이저 학습 과정에서 MeCab을 이용해 혈태소가 이상하게 토큰화 되지 않도록 하였습니다.

Usage

from transformers import AutoTokenizer, T5ForConditionalGeneration

tokenizer = AutoTokenizer.from_pretrained('hyunwoo3235/t5-v1_1-base-ko')
model = T5ForConditionalGeneration.from_pretrained('hyunwoo3235/t5-v1_1-base-ko')