task_categories:sentence-similarity task_categories:text2text-generation task_ids:semantic-similarity-classification language_creators:expert-generated language:ru license:cc-by-nc-4.0 region:us
---
license: cc-by-nc-4.0
language:
  - ru
language_creators:
  - expert-generated  
task_categories:
  - sentence-similarity
  - text2text-generation
task_ids:
  - semantic-similarity-classification
---


# Датасет перефразировок коротких фраз (читчат+поэзия)

В датасете содержатся правильные и некорректные перефразировки коротких диалоговых реплик ([проект диалоговой системы](https://github.com/Koziev/chatbot))
и фрагментов стихов ([проект генеративной поэзии](https://github.com/Koziev/verslibre)).

Датасет представляет из себя список сэмплов-кортежей. Каждый сэмпл состоит из двух списков:

```paraphrases``` - примеры правильных перефразировок  
```distractors``` - примеры неправильных перефразировок


Датасет используется для создания моделей [детектора перефразировок sbert_synonymy](https://huggingface.co/inkoziev/sbert_synonymy)
и [генеративного поэтического перефразировщика](https://huggingface.co/inkoziev/paraphraser).


## Disclaimer 

В датасете целенаправленно допускалась неконсервативность семантики перефразировок в определенных пределах.
К примеру, правильными перефразировками считаются пары "_Помолчи_" и "_Дружище, не говори ни слова!_". Так как перефразировщик
используется в проекте генеративной поэзии для создания датасетов, в нем есть некоторое количество метафоричных
и достаточно вольных перефразировок. Эти особенности датасета могут сделать невозможным использование датасета и моделей
на его основе в Ваших проектах.


## Другие датасеты перефразировок

При обучении моделей вы можете совмещать этот датасет с данными из других датасетов перефразировок, например [tapaco](https://huggingface.co/datasets/tapaco).

