region:us
---
annotations_creators:
- machine-generated
language:
- ru
language_creators:
- machine-generated
license:
- afl-3.0
multilinguality: []
pretty_name: Dmitriy007/restor_punct_Lenta2
size_categories:
- 100K<n<1M
source_datasets:
- original
tags: []
task_categories:
- token-classification
task_ids: []

# Dataset Card for Dmitriy007/restor_punct_Lenta2

## Table of Contents
- [Table of Contents](#table-of-contents)
- [Dataset Description](#dataset-description)
- [Dataset Summary](#dataset-summary)
  - [Supported Tasks and Leaderboards](#supported-tasks-and-leaderboards)
  - [Languages](#languages)
- [Dataset Structure](#dataset-structure)
  - [Data Instances](#data-instances)
  - [Data Fields](#data-fields)
  - [Data Splits](#data-splits)
- [Dataset Creation](#dataset-creation)
  - [Curation Rationale](#curation-rationale)
  - [Source Data](#source-data)
  - [Annotations](#annotations)
  - [Personal and Sensitive Information](#personal-and-sensitive-information)
- [Considerations for Using the Data](#considerations-for-using-the-data)
  - [Social Impact of Dataset](#social-impact-of-dataset)
  - [Discussion of Biases](#discussion-of-biases)
  - [Other Known Limitations](#other-known-limitations)
- [Additional Information](#additional-information)
  - [Dataset Curators](#dataset-curators)
  - [Licensing Information](#licensing-information)
  - [Citation Information](#citation-information)
  - [Contributions](#contributions)

## Dataset Description

- **Homepage:**
- **Repository:**
- **Paper:**
- **Leaderboard:**
- **Point of Contact:**

### Dataset Summary

Набор данных restor_punct_Lenta2 (версия 2.0) представляет собой набор из 800 975 блоков русскоязычных предложений, разбитых на слова, каждое слово размечено маркером для последующей классификации токенов.

Набор данных очищен от символов: '...', ',', '«', '»', '\\', '-', '"' 

Виды маркеров: L L. L! L? B B. B! N N. No

Примеры значений маркеров:

L -- данное слово с маленькой буквы + пробел

L. -- данное слово с маленькой буквы + тчк

B -- данное слово с заглавной буквы

B. -- данное слово с заглавной буквы + тчк

N  -- Число + пробел

N. -- Число + тчк

No -- Символ не определён

### Supported Tasks and Leaderboards

token-classification: набор данных можно использовать для обучения модели восстановления пунктуации и заглавных букв.

### Languages

Текст на русском языке

## Dataset Structure

### Data Instances

Пример из набора поездов restor_punct_Lenta2 выглядит следующим образом:
{'words': ['фотограф-корреспондент', 'daily', 'mirror', 'рассказывает', 'случай', 'который', 'порадует', 'всех', 'друзей', 'животных'], 'labels': ['B', 'B', 'B', 'L', 'L', 'L', 'L', 'L', 'L', 'L.'], 'labels_id': [4, 4, 4, 0, 0, 0, 0, 0, 0, 1]}

### Data Fields

•	'words': список слов, содержащая текст разбитый на отдельные слова.
•	'labels': строка, список маркеров
•	'labels_id: целое число, от 0 до 9 , обозначающее порядковый номер маркера


### Data Splits

[More Information Needed]

## Dataset Creation

### Curation Rationale

Набор данных restor_punct_Lenta2 был разработан для обучения модели восстановления пунктуации и 
аглавных букв в тексте предложения. Предполагалась, что обученная таким образом модель, будет использоваться в задачи транскрибации.

### Source Data

#### Initial Data Collection and Normalization

Данных restor_punct_Lenta2 был основан на наборе данных Lenta2 проекта CORUS.   

#### Who are the source language producers?

[More Information Needed]

### Annotations

Набор данных не содержит никаких дополнительных аннотаций.

#### Annotation process

[More Information Needed]

#### Who are the annotators?

[More Information Needed]

### Personal and Sensitive Information

Имена пользователей или личная информация рецензентов не собирались вместе с обзорами, но потенциально могут быть восстановлены.

## Considerations for Using the Data

### Social Impact of Dataset

[More Information Needed]

### Discussion of Biases

[More Information Needed]

### Other Known Limitations

[More Information Needed]

## Additional Information

### Dataset Curators

[More Information Needed]

### Licensing Information

[More Information Needed]

### Citation Information

[More Information Needed]

### Contributions

Thanks to [@github-username](https://github.com/<github-username>) for adding this dataset.
