<commit_before># corpus-linguistics
Презентация: https://docs.google.com/presentation/d/1gDYAc5G6Hmo9eKNq9K31qgqoiaa7H2PTL5AKbH-JpBk/edit#slide=id.p

Документы хранятся в plain text. Отдельно генерируется файл metainfo.txt с метаинформацией, которая на данный момент состоит только из ссылки на статью вики.
Для удобства документы разделены на подпапки по алфавиту.

metainfo.txt имеет следующий формат:

...

ARTICLE_NAME : <link>

ARTICLE_NAME : <link>

...

## Токенизатор

В качестве токенизаторов были быбраны токенизаторы nltk. В результате для каждой статьи имеем файл с разметкой в следующем формате с примером:
Id,sentence,token,pos
...
24,1,Столица,142
25,1,страны,150
26,1,—,157
27,1,Вильнюс,159
28,1,.,166
29,2,Площадь,169
30,2,—,177
31,2,65,179
32,2,300,182
33,2,км²,186
34,2,.,189
...
<commit_msg>Правка с разбивкой по строкам<commit_after># corpus-linguistics
Презентация: https://docs.google.com/presentation/d/1gDYAc5G6Hmo9eKNq9K31qgqoiaa7H2PTL5AKbH-JpBk/edit#slide=id.p

Документы хранятся в plain text. Отдельно генерируется файл metainfo.txt с метаинформацией, которая на данный момент состоит только из ссылки на статью вики.
Для удобства документы разделены на подпапки по алфавиту.

metainfo.txt имеет следующий формат:

...

ARTICLE_NAME : <link>

ARTICLE_NAME : <link>

...

## Токенизатор

В качестве токенизаторов были быбраны токенизаторы nltk. В результате для каждой статьи имеем файл с разметкой в следующем формате с примером:

Id,sentence,token,pos

...

24,1,Столица,142

25,1,страны,150

26,1,—,157

27,1,Вильнюс,159

28,1,.,166

29,2,Площадь,169

30,2,—,177

31,2,65,179

32,2,300,182

33,2,км²,186

34,2,.,189

...

{'fraction_non_alphanumeric': 0.10653753026634383, 'fraction_numerical': 0.09806295399515738, 'mean_word_length': 5.285171102661597, 'pattern_counts': {'":': 0, '<': 7, '<?xml version=': 0, '>': 7, 'https://': 2, 'lorem ipsum': 0, 'www.': 0, 'xml': 0}, 'pii_count': 0, 'substrings_counts': 0, 'word_list_counts': {'cursed_substrings.json': 0, 'profanity_word_list.json': 0, 'sexual_word_list.json': 0, 'zh_pornsignals.json': 0}}
{'dir': 'git-commits-cleaned', 'id': '1708062', 'n_tokens_mistral': 881, 'n_tokens_neox': 885, 'n_words': 156}