このモデルはcl-tohoku/bert-large-japanese-v2をファインチューニングして、固有表現抽出(NER)に用いれるようにしたものです。
このモデルはcl-tohoku/bert-large-japanese-v2を Wikipediaを用いた日本語の固有表現抽出データセット(ストックマーク社、https://github.com/stockmarkteam/ner-wikipedia-dataset )を用いてファインチューニングしたものです。
固有表現抽出(NER)タスクに用いることができます。
This model is fine-tuned model for Named-Entity-Recognition(NER) which is based on cl-tohoku/bert-large-japanese-v2
This model is fine-tuned by using Wikipedia dataset.
You could use this model for NER tasks.
モデルの精度 accuracy of model
全体:0.8620626488367833
precision | recall | f1-score | support | |
---|---|---|---|---|
その他の組織名 | 0.80 | 0.78 | 0.79 | 238 |
イベント名 | 0.82 | 0.88 | 0.85 | 215 |
人名 | 0.92 | 0.95 | 0.93 | 549 |
地名 | 0.90 | 0.89 | 0.89 | 446 |
政治的組織名 | 0.86 | 0.91 | 0.89 | 263 |
施設名 | 0.86 | 0.91 | 0.88 | 241 |
法人名 | 0.88 | 0.89 | 0.88 | 487 |
製品名 | 0.62 | 0.68 | 0.65 | 252 |
micro avg | 0.85 | 0.87 | 0.86 | 2691 |
macro avg | 0.83 | 0.86 | 0.85 | 2691 |
weighted avg | 0.85 | 0.87 | 0.86 | 2691 |
How to use 使い方
fugashiとtransformers,unidic_liteをインストールして (pip install fugashi, pip install unidic_lite, pip install transformers) 以下のコードを実行することで、NERタスクを解かせることができます。 please execute this code.
from transformers import AutoTokenizer,pipeline, AutoModelForTokenClassification
tokenizer = AutoTokenizer.from_pretrained('Mizuiro-sakura/bert-large-japanese-v2-finetuned-ner')
model=AutoModelForTokenClassification.from_pretrained('Mizuiro-sakura/bert-large-japanese-v2-finetuned-ner') # 学習済みモデルの読み込み
text=('昨日は東京で買い物をした')
ner=pipeline('ner', model=model, tokenizer=tokenizer)
result=ner(text)
print(result)
- Downloads last month
- 26
This model does not have enough activity to be deployed to Inference API (serverless) yet. Increase its social
visibility and check back later, or deploy to Inference Endpoints (dedicated)
instead.