Erlangshen-BERT-120M-IE-Chinese

• Main Page:Fengshenbang
• Github: Fengshenbang-LM

简介 Brief Introduction

本模型基于大规模信息抽取数据进行预训练，可支持few-shot、zero-shot场景下的实体识别、关系三元组抽取任务。

This model is pre-trained on large-scale information extraction data, to better support Named Entity Recognition (NER) and Relation Extraction (RE) tasks in few-shot/zero-shot scenarios.

模型分类 Model Taxonomy

需求 Demand	任务 Task	系列 Series	模型 Model	参数 Parameter	额外 Extra
通用 General	信息抽取 Information Extraction	二郎神 Erlangshen	BagualuIEModel	120M	Chinese

下游效果 Performance

Erlangshen-BERT-120M-IE-Chinese在多个信息抽取任务下进行测试。

其中，zh_weibo/MSRA/OntoNote4/Resume为NER任务，其中MSRA在原始数据下进行测试；SanWen/FinRE作为实体关系联合抽取任务进行测试，非单一关系分类任务。

部分参数设置如下：

batch_size=16
precision=16
max_epoch=50
lr=2e-5
weight_decay=0.1
warmup=0.06
max_length=512

我们分别在随机种子123/456/789下进行测试，并以MacBERT-base, Chinese作为预训练模型保持相同参数进行训练作为对比baseline，得到效果计算平均，效果如下：

Dataset	Training epochs	Test precision	Test recall	Test f1	Baseline f1
zh_weibo	10.3	0.7282	0.6447	0.6839	0.6778
MSRA	5	0.9374	0.9299	0.9336	0.8483
OntoNote4	9	0.8640	0.8634	0.8636	0.7996
Resume	15	0.9568	0.9658	0.9613	0.9479
SanWen	6.7	0.3655	0.2072	0.2639	0.2655
FinRE	7	0.5190	0.4274	0.4685	0.4559

使用 Usage

GTS引擎（GTS-Engine）是一款开箱即用且性能强大的自然语言理解引擎，能够仅用小样本就能自动化生产NLP模型。GTS Engine包含两个训练引擎：乾坤鼎和八卦炉。

本模型为可在GTS-Engine八卦炉引擎信息抽取任务中，作为预训练模型进行finetune。

GTS-Engine文档参考：GTS-Engine

引用

如果您在您的工作中使用了我们的模型，可以引用我们的网站:

You can also cite our website:

@misc{GTS-Engine,
  title={GTS-Engine},
  author={IDEA-CCNL},
  year={2022},
  howpublished={\url{https://github.com/IDEA-CCNL/GTS-Engine}},
}