|
--- |
|
language: |
|
- ru |
|
license: apache-2.0 |
|
library_name: transformers |
|
datasets: |
|
- hivaze/ru-AAQG-QA-QG |
|
pipeline_tag: text2text-generation |
|
--- |
|
|
|
## Description |
|
|
|
This is **ai-forever/FRED-T5-large** model trained on **Question-Answering**, **Question-Generation** and **Answer-Aware Question Generation** tasks on russian dataset (**hivaze/ru-AAQG-QA-QG**) |
|
|
|
### Prompts |
|
|
|
```python |
|
AAQG_PROMPT = "Сгенерируй вопрос по тексту, используя известный ответ. Текст: '{context}'. Ответ: '{answer}'." |
|
QG_PROMPT = "Сгенерируй вопрос по тексту. Текст: '{context}'." |
|
QA_PROMPT = "Сгенерируй ответ на вопрос по тексту. Текст: '{context}'. Вопрос: '{question}'." |
|
``` |
|
|
|
### Examples and code |
|
|
|
```python |
|
from transformers import AutoTokenizer, T5ForConditionalGeneration |
|
from functools import partial |
|
|
|
saved_checkpoint = 'hivaze/AAQG-QA-QG-FRED-T5-large' |
|
tokenizer = AutoTokenizer.from_pretrained(saved_checkpoint) |
|
model = T5ForConditionalGeneration.from_pretrained(saved_checkpoint).cuda() |
|
|
|
def generate_text(prompt, tokenizer, model, n=1, temperature=0.8, num_beams=3): |
|
encoded_input = tokenizer.encode_plus(prompt, return_tensors='pt') |
|
encoded_input = {k: v.to(model.device) for k, v in encoded_input.items()} |
|
|
|
resulted_tokens = model.generate(**encoded_input, |
|
max_new_tokens=64, |
|
do_sample=True, |
|
num_beams=num_beams, |
|
num_return_sequences=n, |
|
temperature=temperature, |
|
top_p=0.9, |
|
top_k=50) |
|
resulted_texts = tokenizer.batch_decode(resulted_tokens, skip_special_tokens=True) |
|
|
|
return resulted_texts |
|
|
|
generate_text = partial(generate_text, tokenizer=tokenizer, model=model) |
|
|
|
test_context = "Путешественник Федор Конюхов и пилот Игорь Потапкин установили мировой рекорд высоты полета на паралёте, поднявшись на высоту 4728 метров — сайт Конюхова" |
|
``` |
|
|
|
#### AAQG |
|
```python |
|
generate_text(AAQG_PROMPT.format( |
|
context=test_context, |
|
answer='на паралёте' |
|
), n=1) |
|
``` |
|
> "На чём установили мировой рекорд высоты полета Федор Конюхов и пилот Игорь Потапкин?" |
|
|
|
|
|
```python |
|
generate_text(AAQG_PROMPT.format( |
|
context=test_context, |
|
answer='рекорд высоты полета' |
|
), n=1) |
|
``` |
|
> "Что установили Конюхов и Потапкин?" |
|
|
|
|
|
#### QA |
|
```python |
|
generate_text(QA_PROMPT.format( |
|
context=test_context, |
|
question='Что установили путешественник Федор Конюхов и пилот Игорь Потапкин?' |
|
), n=1) |
|
``` |
|
> "мировой рекорд высоты полета на паралёте, поднявшись на высоту 4728 метров — сайт Конюхова" |
|
|
|
#### QG |
|
```python |
|
generate_text(QG_PROMPT.format(context=test_context), n=1) |
|
``` |
|
> "Кто установил мировой рекорд высоты полета на паралёте, поднявшись на высоту 4728 метров?" |
|
|
|
## Metrics |
|
|
|
| Step | Training Loss | Validation Loss | Sbleu | Chr F | Rouge1 | Rouge2 | Rougel | |
|
|------|---------------|-----------------|-------|-------|--------|--------|--------| |
|
| 500 | 1.183100 | 1.188049 | 40.114700 | 62.147000 | 0.104600 | 0.034500 | 0.104300 | |
|
| 1000 | 1.193000 | 1.125300 | 40.722300 | 62.661400 | 0.104700 | 0.033900 | 0.104300 | |
|
| 1500 | 1.114300 | 1.097496 | 41.416600 | 63.060300 | 0.106100 | 0.033800 | 0.105800 | |
|
| 2000 | 1.081300 | 1.080900 | 41.600200 | 63.260500 | 0.106200 | 0.033700 | 0.105900 | |
|
| 2500 | 1.076900 | 1.070221 | 41.722300 | 63.315300 | 0.106300 | 0.034100 | 0.106000 | |
|
| 3000 | 1.125600 | 1.062671 | 41.744500 | 63.409400 | 0.106400 | 0.034200 | 0.106200 | |
|
|
|
## Authors |
|
- Sergei Bratchikov (https://t.me/nlpwanderer) |
