
**Description**

A Japanese-specialized SentencePiece tokenizer trained for AI Novelist's SuperTrin and Damsel 20B models.

Vocab size: 52000 (padded to 52224)

**概要**

AIのべりすとの「スーパーとりんさま」「やみおとめ20B」向けに訓練・使用されている、日本語のクリエイティブライティングに特化したSentencePieceトークナイザです。

ボキャブラリサイズ： 52000 (52224にパディング)

**Wiki**

AIのべりすとユーザーWikiにABC/あいうえお順のトークン一覧が掲載されています。

https://wikiwiki.jp/ainove_wiki/%E3%83%88%E3%83%BC%E3%82%AF%E3%83%B3%E4%B8%80%E8%A6%A7%28%E3%82%84%E3%81%BF%E3%81%8A%E3%81%A8%E3%82%81%29/1

#### Credits
- Sta, AI Novelist Dev (https://ai-novel.com/) @ Bit192, Inc.

#### License
MIT License
{"language": ["ja"], "license": "mit", "inference": false}
transformers ja license:mit has_space region:us
TAGS
#transformers #ja #license-mit #has_space #region-us 


Description

A Japanese-specialized SentencePiece tokenizer trained for AI Novelist's SuperTrin and Damsel 20B models.

Vocab size: 52000 (padded to 52224)

概要

AIのべりすとの「スーパーとりんさま」「やみおとめ20B」向けに訓練・使用されている、日本語のクリエイティブライティングに特化したSentencePieceトークナイザです。

ボキャブラリサイズ： 52000 (52224にパディング)

Wiki

AIのべりすとユーザーWikiにABC/あいうえお順のトークン一覧が掲載されています。

URL

#### Credits
- Sta, AI Novelist Dev (URL @ Bit192, Inc.

#### License
MIT License
#### Credits
- Sta, AI Novelist Dev (URL @ Bit192, Inc. #### License
MIT License
TAGS
#transformers #ja #license-mit #has_space #region-us 
 #### Credits
- Sta, AI Novelist Dev (URL @ Bit192, Inc. #### License
MIT License