
# kogrammar-distil

Dataset: 국립국어원 맞춤법 교정 말뭉치
<br>
<br>
**Backbone Model**: 
  - [kobart-base-v2](https://huggingface.co/gogamza/kobart-base-v2/blob/main/README.md)

**Contributors**: 
  - ChangGeon Kang: [NeverAsking](https://github.com/NeverAsking/)
  - Subin Park: [SOL1archive](https://github.com/SOL1archive/)

**GitHub Repo**: 
  - [SOL1archive/KoGrammar](https://github.com/SOL1archive/KoGrammar)

## Train Method
전체 데이터셋 중 약 67.5%를 학습데이터로 활용하여 학습함.
<br>
SFT Distillation을 이용해 [kogrammar-base](https://huggingface.co/theSOL1/kogrammar-base) 모델의 Decoder Layer를 6개에서 3개로 줄여 다시 학습시킴.

## Metric
|BLEU-2|ROUGE-2 F1|
|-|-|
|77.8 %|55.0 %|

{"language": "ko", "license": "mit", "tags": ["bart", "grammar"]}
transformers pytorch bart text2text-generation grammar ko license:mit autotrain_compatible endpoints_compatible region:us
TAGS
#transformers #pytorch #bart #text2text-generation #grammar #ko #license-mit #autotrain_compatible #endpoints_compatible #region-us 

kogrammar-distil
================


Dataset: 국립국어원 맞춤법 교정 말뭉치
  

  

Backbone Model:


* kobart-base-v2


Contributors:


* ChangGeon Kang: NeverAsking
* Subin Park: SOL1archive


GitHub Repo:


* SOL1archive/KoGrammar


Train Method
------------


전체 데이터셋 중 약 67.5%를 학습데이터로 활용하여 학습함.
  

SFT Distillation을 이용해 kogrammar-base 모델의 Decoder Layer를 6개에서 3개로 줄여 다시 학습시킴.


Metric
------




TAGS
#transformers #pytorch #bart #text2text-generation #grammar #ko #license-mit #autotrain_compatible #endpoints_compatible #region-us 
