arxiv:2305.11206 region:us
---
configs:
- config_name: default
  data_files:
  - split: dim_oasst_en
    path: data/dim_oasst_en-*
  - split: dim_oasst_ru
    path: data/dim_oasst_ru-*
  - split: dim_lima
    path: data/dim_lima-*
  - split: dim_logic_tasks_ru
    path: data/dim_logic_tasks_ru-*
  - split: dim_wikihow_en
    path: data/dim_wikihow_en-*
  - split: dim_wikihow_ru
    path: data/dim_wikihow_ru-*
  - split: dim_essayforum_writing_prompts_6k
    path: data/dim_essayforum_writing_prompts_6k-*
  - split: dim_sharegpt_short_ru
    path: data/dim_sharegpt_short_ru-*
  - split: dim_openreview_prompts_65
    path: data/dim_openreview_prompts_65-*
  - split: dim_roleplay_instruct_v2_final
    path: data/dim_roleplay_instruct_v2_final-*
  - split: dim_kinomania_scripts
    path: data/dim_kinomania_scripts-*
  - split: dim_bugurt_thread_prompts
    path: data/dim_bugurt_thread_prompts-*
  - split: dim_russian_lyrics_prompts
    path: data/dim_russian_lyrics_prompts-*
  - split: dim_ru_instruct_gpt4
    path: data/dim_ru_instruct_gpt4-*
  - split: dim_gpt_roleplay_realm
    path: data/dim_gpt_roleplay_realm-*
  - split: dim_ultrachat_ru
    path: data/dim_ultrachat_ru-*
  - split: dim_scitldr
    path: data/dim_scitldr-*
  - split: dim_linux_man_pages_tldr_summarized
    path: data/dim_linux_man_pages_tldr_summarized-*
  - split: dim_dolphin_ru_3k
    path: data/dim_dolphin_ru_3k-*
  - split: dim_runne_prompts
    path: data/dim_runne_prompts-*
  - split: dim_lurk_prompts
    path: data/dim_lurk_prompts-*
  - split: dim_panorama_prompts_10k
    path: data/dim_panorama_prompts_10k-*
  - split: dim_resh_edu_short_prompts
    path: data/dim_resh_edu_short_prompts-*
  - split: dim_databricks_dolly_15k_ru
    path: data/dim_databricks_dolly_15k_ru-*
  - split: dim_databricks_dolly_15k_en
    path: data/dim_databricks_dolly_15k_en-*
  - split: dim_grammarly_coedit
    path: data/dim_grammarly_coedit-*
  - split: dim_kinopoisk_prompts
    path: data/dim_kinopoisk_prompts-*
  - split: dim_medical_qa_ru_prompts
    path: data/dim_medical_qa_ru_prompts-*
  - split: dim_joke_explaination_prompts
    path: data/dim_joke_explaination_prompts-*
  - split: dim_oa_stackexchange_200k
    path: data/dim_oa_stackexchange_200k-*
  - split: dim_scale_helpful_no_math
    path: data/dim_scale_helpful_no_math-*
  - split: dim_law_stackexchange_prompts
    path: data/dim_law_stackexchange_prompts-*
  - split: dim_ficbook_prompts_best_10k
    path: data/dim_ficbook_prompts_best_10k-*
  - split: dim_azbyka_logic_ru
    path: data/dim_azbyka_logic_ru-*
  - split: dim_povarenok
    path: data/dim_povarenok-*
  - split: dim_AO3_fandom_chatbot_1to1
    path: data/dim_AO3_fandom_chatbot_1to1-*
  - split: dim_habr_prompts_5k
    path: data/dim_habr_prompts_5k-*
  - split: dim_what_where_when_50k
    path: data/dim_what_where_when_50k-*
  - split: dim_competition_math
    path: data/dim_competition_math-*
  - split: dim_sharegpt_short_en_30k
    path: data/dim_sharegpt_short_en_30k-*
  - split: dim_ru_turbo_alpaca_evol_instruct
    path: data/dim_ru_turbo_alpaca_evol_instruct-*
  - split: dim_ru_turbo_saiga
    path: data/dim_ru_turbo_saiga-*
  - split: dim_bugurt_completion_prompts
    path: data/dim_bugurt_completion_prompts-*
  - split: dim_tldr_17_50k
    path: data/dim_tldr_17_50k-*
  - split: dim_grade_school_math_instructions
    path: data/dim_grade_school_math_instructions-*
  - split: dim_tldr_news
    path: data/dim_tldr_news-*
  - split: dim_grade_school_math_instructions_ru
    path: data/dim_grade_school_math_instructions_ru-*
  - split: dim_dialogsum
    path: data/dim_dialogsum-*
  - split: dim_HC3_ru
    path: data/dim_HC3_ru-*
  - split: dim_horoscopes_ru_10k
    path: data/dim_horoscopes_ru_10k-*
  - split: dim_yandex_q_200k
    path: data/dim_yandex_q_200k-*
  - split: dim_leetcodesolutions_en_2k
    path: data/dim_leetcodesolutions_en_2k-*
  - split: dim_forum_uristov_rf_prompts
    path: data/dim_forum_uristov_rf_prompts-*
  - split: dim_dialogsum_ru
    path: data/dim_dialogsum_ru-*
  - split: dim_huggingartists_prompts
    path: data/dim_huggingartists_prompts-*
dataset_info:
  features:
  - name: conversation_text
    sequence: string
  splits:
  - name: dim_oasst_en
    num_bytes: 4335500
    num_examples: 2289
  - name: dim_oasst_ru
    num_bytes: 6206378
    num_examples: 2220
  - name: dim_lima
    num_bytes: 2892267
    num_examples: 1030
  - name: dim_logic_tasks_ru
    num_bytes: 76915
    num_examples: 86
  - name: dim_wikihow_en
    num_bytes: 16008199
    num_examples: 1995
  - name: dim_wikihow_ru
    num_bytes: 24451573
    num_examples: 2058
  - name: dim_essayforum_writing_prompts_6k
    num_bytes: 22326330
    num_examples: 6361
  - name: dim_sharegpt_short_ru
    num_bytes: 808319
    num_examples: 253
  - name: dim_openreview_prompts_65
    num_bytes: 6739952
    num_examples: 150
  - name: dim_roleplay_instruct_v2_final
    num_bytes: 4389286
    num_examples: 7188
  - name: dim_kinomania_scripts
    num_bytes: 238731
    num_examples: 27
  - name: dim_bugurt_thread_prompts
    num_bytes: 302191
    num_examples: 223
  - name: dim_russian_lyrics_prompts
    num_bytes: 18676
    num_examples: 43
  - name: dim_ru_instruct_gpt4
    num_bytes: 18351658
    num_examples: 14222
  - name: dim_gpt_roleplay_realm
    num_bytes: 20163429
    num_examples: 8700
  - name: dim_ultrachat_ru
    num_bytes: 4495105
    num_examples: 500
  - name: dim_scitldr
    num_bytes: 4049209
    num_examples: 3229
  - name: dim_linux_man_pages_tldr_summarized
    num_bytes: 3006631
    num_examples: 481
  - name: dim_dolphin_ru_3k
    num_bytes: 7976776
    num_examples: 3000
  - name: dim_runne_prompts
    num_bytes: 2686148
    num_examples: 537
  - name: dim_lurk_prompts
    num_bytes: 92012533
    num_examples: 5671
  - name: dim_panorama_prompts_10k
    num_bytes: 28964132
    num_examples: 11024
  - name: dim_resh_edu_short_prompts
    num_bytes: 12380000
    num_examples: 2106
  - name: dim_databricks_dolly_15k_ru
    num_bytes: 21900617
    num_examples: 14914
  - name: dim_databricks_dolly_15k_en
    num_bytes: 11973713
    num_examples: 15011
  - name: dim_grammarly_coedit
    num_bytes: 18500223
    num_examples: 82466
  - name: dim_kinopoisk_prompts
    num_bytes: 136323982
    num_examples: 36591
  - name: dim_medical_qa_ru_prompts
    num_bytes: 75634717
    num_examples: 80101
  - name: dim_joke_explaination_prompts
    num_bytes: 196224
    num_examples: 364
  - name: dim_oa_stackexchange_200k
    num_bytes: 192535277
    num_examples: 200000
  - name: dim_scale_helpful_no_math
    num_bytes: 85610911
    num_examples: 17095
  - name: dim_law_stackexchange_prompts
    num_bytes: 64544963
    num_examples: 24343
  - name: dim_ficbook_prompts_best_10k
    num_bytes: 75867114
    num_examples: 10000
  - name: dim_azbyka_logic_ru
    num_bytes: 173101
    num_examples: 480
  - name: dim_povarenok
    num_bytes: 93518909
    num_examples: 46500
  - name: dim_AO3_fandom_chatbot_1to1
    num_bytes: 1162058
    num_examples: 614
  - name: dim_habr_prompts_5k
    num_bytes: 40224997
    num_examples: 5000
  - name: dim_what_where_when_50k
    num_bytes: 38385243
    num_examples: 50000
  - name: dim_competition_math
    num_bytes: 5808689
    num_examples: 7500
  - name: dim_sharegpt_short_en_30k
    num_bytes: 86599862
    num_examples: 29597
  - name: dim_ru_turbo_alpaca_evol_instruct
    num_bytes: 105340901
    num_examples: 47793
  - name: dim_ru_turbo_saiga
    num_bytes: 79875722
    num_examples: 37699
  - name: dim_bugurt_completion_prompts
    num_bytes: 5471066
    num_examples: 5000
  - name: dim_tldr_17_50k
    num_bytes: 81185070
    num_examples: 50000
  - name: dim_grade_school_math_instructions
    num_bytes: 4655452
    num_examples: 8792
  - name: dim_tldr_news
    num_bytes: 4014718
    num_examples: 7138
  - name: dim_grade_school_math_instructions_ru
    num_bytes: 6845510
    num_examples: 7473
  - name: dim_dialogsum
    num_bytes: 11176807
    num_examples: 12460
  - name: dim_HC3_ru
    num_bytes: 43395731
    num_examples: 24322
  - name: dim_horoscopes_ru_10k
    num_bytes: 9489348
    num_examples: 10000
  - name: dim_yandex_q_200k
    num_bytes: 292443135
    num_examples: 200000
  - name: dim_leetcodesolutions_en_2k
    num_bytes: 4708692
    num_examples: 2048
  - name: dim_forum_uristov_rf_prompts
    num_bytes: 2757263
    num_examples: 1849
  - name: dim_dialogsum_ru
    num_bytes: 18657989
    num_examples: 12460
  - name: dim_huggingartists_prompts
    num_bytes: 121909835
    num_examples: 64006
  download_size: 0
  dataset_size: 2023767777
---
# Verbalist (буквоед) - русскоязычный ассистент.

Проект во многом вдохновленный [Saiga](https://huggingface.co/IlyaGusev/saiga2_7b_lora).

Мною были собраны все самые качественные датасеты с [huggingface.datasets](https://huggingface.co/datasets), а также собраны дополнительно с тех сайтов, которые я посчитал весьма полезными для создания аналога ChatGPT. Лицензии у всех датасетов отличаются, какие-то по типу [OpenAssistant/oasst1](https://huggingface.co/datasets/OpenAssistant/oasst1) были созданы специально для обучения подобных моделей, какие-то являются прямой выгрузкой диалогов с ChatGPT ([RyokoAI/ShareGPT52K](https://huggingface.co/datasets/RyokoAI/ShareGPT52K)).

Вклад данного репозитория состоит в систематизации и стандартизации уже имеющихся датасетов, добавлении новых. А также тренировке моделей на этих данных.

- [google sheets таблица с датасетами и описанием](https://docs.google.com/spreadsheets/d/10xcsINF_c_zUZchT8p-8xIuHDgcuwg63jjl2ortBP9I/edit?usp=sharing)

### Датасеты

- **[Объединенный датасет где все данные уже подготовлены для тренировки диалоговой модели](https://huggingface.co/datasets/dim/verbalist_prompts)**
|name                                 |link                                                                 |description                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                   |original_name                                                 |original_source                                                                                        |preparation_script                                                                                       |language|amount_examples|mean_llama_tokens|std        |min_llama_tokens|25%    |50%    |75%    |max_llama_tokens|
|-------------------------------------|---------------------------------------------------------------------|--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|--------------------------------------------------------------|-------------------------------------------------------------------------------------------------------|---------------------------------------------------------------------------------------------------------|--------|---------------|-----------------|-----------|----------------|-------|-------|-------|----------------|
|dim/oasst_en                         |https://huggingface.co/datasets/dim/oasst_en                         |OpenAssistant Conversations Dataset на английском языке, который был вручную отфильтрован мной. В исходном датасете около 30% диалогов оказались не корректными. Иногда пользователь, играющий роль ассистента, использовал грубый тон в общении с пользователем, иногда люди просто отвечали "не знаю" на вопросы, и некоторые из вопросов были недостаточно научными или слишком краткими. Вы можете ознакомиться с этой разметкой по следующей ссылке: https://docs.google.com/spreadsheets/d/117t5-Tr-dxdODpyFBkBg5R8GklYBlsvBfeDyjqwz2pA/edit?usp=sharing|2023-04-12_oasst_ready.messages.jsonl.gz                      |https://huggingface.co/datasets/OpenAssistant/oasst1/blob/main/2023-04-12_oasst_ready.messages.jsonl.gz|https://github.com/dmitrymailk/verbalist/tree/master/verbalist/datasets/oasst                            |en      |2289           |468.6788991      |295.0864391|17              |264    |410    |618    |2332            |
|dim/oasst_ru                         |https://huggingface.co/datasets/dim/oasst_ru                         |OpenAssistant Conversations Dataset на русском языке, который был вручную отфильтрован мной. В исходном датасете около 30% диалогов оказались не корректными. Иногда пользователь, играющий роль ассистента, использовал грубый тон в общении с пользователем, иногда люди просто отвечали "не знаю" на вопросы, и некоторые из вопросов были недостаточно научными или слишком краткими. Вы можете ознакомиться с этой разметкой по следующей ссылке: https://docs.google.com/spreadsheets/d/1uiOnqxiytuxrB6u6q2pMSdnMfqjT3arfg8DlT-OWlb0/edit?usp=sharing   |2023-04-12_oasst_ready.messages.jsonl.gz                      |https://huggingface.co/datasets/OpenAssistant/oasst1/blob/main/2023-04-12_oasst_ready.messages.jsonl.gz|https://github.com/dmitrymailk/verbalist/tree/master/verbalist/datasets/oasst                            |ru      |2220           |589.6112613      |479.835392 |7               |278    |465    |763.5  |5028            |
|dim/lima                             |https://huggingface.co/datasets/dim/lima                             |Данный датасет включает в себя 1000 высококачественных обучающих примеров на английском языке. Он собран из различных источников, включая Stack Exchange (STEM), Stack Exchange (Other), wikiHow, Pushshift r/WritingPrompts, Natural Instructions, а также уникальные инструкции, созданные авторами статей. Более подробную информацию о датасете можно найти в [соответствующей статье](https://arxiv.org/pdf/2305.11206.pdf).                                                                                                                             |GAIR/lima                                                     |https://huggingface.co/datasets/GAIR/lima                                                              |https://github.com/dmitrymailk/verbalist/tree/master/verbalist/datasets/lima                             |en      |1030           |712.9456311      |671.179319 |29              |312.75 |488.5  |825    |3920            |
|dim/logic_tasks_ru                   |https://huggingface.co/datasets/dim/logic_tasks_ru                   |Данный набор задач по логике для детей взят с веб-сайта https://www.potehechas.ru/zadachi/zadachi.shtml.                                                                                                                                                                                                                                                                                                                                                                                                                                                      |Логические задачи - Логика и нестандартное мышление           |https://www.potehechas.ru/zadachi/zadachi.shtml                                                        |https://github.com/dmitrymailk/verbalist/tree/master/verbalist/datasets/logic_tasks_ru                   |ru      |86             |193.0697674      |76.69048422|58              |133.75 |185    |243.5  |432             |
|dim/wikihow_en                       |https://huggingface.co/datasets/dim/wikihow_en                       |Данный датасет содержит англоязычные статьи, извлеченные с веб-сайта Wikihow.                                                                                                                                                                                                                                                                                                                                                                                                                                                                                 |0x22almostEvil/multilingual-wikihow-qa-16k                    |https://huggingface.co/datasets/0x22almostEvil/multilingual-wikihow-qa-16k                             |https://github.com/dmitrymailk/verbalist/tree/master/verbalist/datasets/wiki_how                         |en      |1995           |2037.86416       |870.1910713|265             |1463   |1913   |2461.5 |8988            |
|dim/wikihow_ru                       |https://huggingface.co/datasets/dim/wikihow_ru                       |Данный датасет включает в себя русскоязычные статьи, полученные с веб-сайта Wikihow.                                                                                                                                                                                                                                                                                                                                                                                                                                                                          |0x22almostEvil/multilingual-wikihow-qa-16k                    |https://huggingface.co/datasets/0x22almostEvil/multilingual-wikihow-qa-16k                             |https://github.com/dmitrymailk/verbalist/tree/master/verbalist/datasets/wiki_how                         |ru      |2058           |2498.119534      |1587.851549|139             |1236.25|2264   |3421.75|10217           |
|dim/essayforum_writing_prompts_6k    |https://huggingface.co/datasets/dim/essayforum_writing_prompts_6k    |Данный датасет включает в себя запросы на помощь с написанием небольших эссе, размещенные на данном сайте. Ответы в датасете предоставлены исключительно главным администратором сайта. Его ответы были отобраны, поскольку чаще всего они являются наиболее качественными и вдумчивыми.                                                                                                                                                                                                                                                                      |EssayForum                                                    |https://essayforum.com/writing/                                                                        |https://github.com/dmitrymailk/verbalist/tree/master/verbalist/datasets/essayforum                       |en      |6361           |783.1760729      |285.4314176|258             |629    |742    |879    |4966            |
|dim/sharegpt_short_ru                |https://huggingface.co/datasets/dim/sharegpt_short_ru                |Очищенная версия русская версия sharegpt. Я попытался вырезать из текста все промпты, где модель извиняется что что-то не может сделать, что она не имеет доступа в интернет. Диалоги, которые противоречат морали модели я просто исключил. Постарался убрать упоминания о том что она модель AI, так как за ролеплейные характеристики отвечают другие датасеты.                                                                                                                                                                                            |RyokoAI/ShareGPT52K                                           |https://huggingface.co/datasets/RyokoAI/ShareGPT52K                                                    |https://github.com/dmitrymailk/verbalist/tree/master/verbalist/datasets/sharegpt                         |ru      |253            |706.6521739      |494.7437584|13              |310    |628    |1078   |1861            |
|dim/openreview_prompts_65            |https://huggingface.co/datasets/dim/openreview_prompts_65            |Датасет рецензий на реальные научные статьи с сайта openreview. Вышло на самом деле не так много, так как многие статьи не выложенны на arxiv или просто не имеют рецензий. Плюс я собрал только малую часть данного сайта, а не все что там было.                                                                                                                                                                                                                                                                                                            |https://openreview.net/                                       |https://openreview.net/                                                                                |https://github.com/dmitrymailk/verbalist/tree/master/verbalist/datasets/openreview                       |en      |150            |13531.51333      |6966.623686|4893            |8279   |12648.5|15833.5|41494           |
|dim/roleplay_instruct_v2_final       |https://huggingface.co/datasets/dim/roleplay_instruct_v2_final       |Датасет ролеплея от GPT-4 на различных персонажей на английском языке.                                                                                                                                                                                                                                                                                                                                                                                                                                                                                        |roleplay-instruct-v2-final                                    |https://github.com/teknium1/GPTeacher                                                                  |https://github.com/dmitrymailk/verbalist/tree/master/verbalist/datasets/gpt_roleplay_realm               |en      |7188           |155.1413467      |97.71215667|14              |88     |125    |192    |1291            |
|dim/kinomania_scripts                |https://huggingface.co/datasets/dim/kinomania_scripts                |Небольшой датасет, который содержит в себе сценарии фильмов целиком и их краткое содержание                                                                                                                                                                                                                                                                                                                                                                                                                                                                   |https://www.kinomania.ru/scripts                              |https://www.kinomania.ru/scripts                                                                       |https://github.com/dmitrymailk/verbalist/tree/master/verbalist/datasets/kinomania_scripts                |ru\en   |27             |2603.407407      |510.375447 |1887            |2175   |2370   |3069   |3616            |
|dim/bugurt_thread_prompts            |https://huggingface.co/datasets/dim/bugurt_thread_prompts            |Небольшой набор размеченных бугуртов вместе с моим другом, для того чтобы модель научилась писать бугурты на конкретную ситуацию. Собраны из телеграм паблика БУГУРТ ТРЕД(https://t.me/bugurtthread)                                                                                                                                                                                                                                                                                                                                                          |https://t.me/bugurtthread                                     |https://t.me/bugurtthread                                                                              |https://github.com/dmitrymailk/verbalist/tree/master/verbalist/datasets/bugurt_thread                    |ru      |223            |334.4529148      |271.2557988|48              |148.5  |254    |434.5  |1645            |
|dim/russian_lyrics_prompts           |https://huggingface.co/datasets/dim/russian_lyrics_prompts           |Небольшой датасет промптов собранный мною из различных учебников по стихосложению, чтобы модель научилась писать стихи, используя необходимый литературный прием на конкретную тему.                                                                                                                                                                                                                                                                                                                                                                          |Учебник стихосложения                                         |https://stihi.ru/uchebnik/                                                                             |https://github.com/dmitrymailk/verbalist/tree/master/verbalist/datasets/russian_lyrics_prompts           |ru      |43             |106.1395349      |71.00220701|45              |71     |83     |96.5   |411             |
|dim/ru_instruct_gpt4                 |https://huggingface.co/datasets/dim/ru_instruct_gpt4                 |Датасет каких-то инструкций на русском сгенерированных GPT-4                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                  |lksy/ru_instruct_gpt4                                         |https://huggingface.co/datasets/lksy/ru_instruct_gpt4                                                  |https://github.com/dmitrymailk/verbalist/tree/master/verbalist/datasets/ru_instruct_gpt4                 |ru      |14222          |259.2173393      |237.9433891|16              |109    |175    |271    |1374            |
|dim/gpt_roleplay_realm               |https://huggingface.co/datasets/dim/gpt_roleplay_realm               |Диалоги выдуманных персонажей при помощи GPT-4, диалоги были сгенерированны при помощи GPT-3.5. Русский и английский.                                                                                                                                                                                                                                                                                                                                                                                                                                         |IlyaGusev/gpt_roleplay_realm                                  |https://huggingface.co/datasets/IlyaGusev/gpt_roleplay_realm                                           |https://github.com/dmitrymailk/verbalist/tree/master/verbalist/datasets/gpt_roleplay_realm               |ru\en   |8700           |504.2424138      |117.6228987|180             |424    |489    |569    |1207            |
|dim/ultrachat_ru                     |https://huggingface.co/datasets/dim/ultrachat_ru                     |Какой-то рандомный датасет диалогов от chatgpt, который я нашел на huggingface. Из текста диалогов были вырезаны шаблонные фразы по типу: "я не могу выполнить", "как языковая модель" и тд. Потому что обычно после этого следовало вменяемое решение задачи.                                                                                                                                                                                                                                                                                                |kaleinaNyan/UltraChat_ru                                      |https://huggingface.co/datasets/kaleinaNyan/UltraChat_ru                                               |https://github.com/dmitrymailk/verbalist/tree/master/verbalist/datasets/ultrachat_ru                     |ru      |500            |1781.782         |901.1212735|267             |1113.25|1648   |2250.25|7303            |
|dim/scitldr                          |https://huggingface.co/datasets/dim/scitldr                          |Саммаризация научных статей на английском языке, выполненная экспертами.                                                                                                                                                                                                                                                                                                                                                                                                                                                                                      |allenai/scitldr                                               |https://huggingface.co/datasets/allenai/scitldr                                                        |https://github.com/dmitrymailk/verbalist/tree/master/verbalist/datasets/scitldr                          |en      |3229           |258.748529       |71.41209752|60              |209    |252    |303    |689             |
|dim/linux_man_pages_tldr_summarized  |https://huggingface.co/datasets/dim/linux_man_pages_tldr_summarized  |Саммаризация мануалов для инструментов линукс в удобный набор команд с их кратким описанием.                                                                                                                                                                                                                                                                                                                                                                                                                                                                  |tmskss/linux-man-pages-tldr-summarized                        |https://huggingface.co/datasets/tmskss/linux-man-pages-tldr-summarized                                 |https://github.com/dmitrymailk/verbalist/tree/master/verbalist/datasets/linux-man-pages-tldr-summarized  |en      |481            |1567.727651      |3590.30871 |96              |405    |765    |1386   |49888           |
|dim/dolphin_ru_3k                    |https://huggingface.co/datasets/dim/dolphin_ru_3k                    |Подвыборка размера 3000 переведенных заданий dolphin. Примеры из оригинального датасета это промпты из FLANv2 и решения при помощи GPT-4 или GPT-3.5.                                                                                                                                                                                                                                                                                                                                                                                                         |d0rj/dolphin-ru                                               |https://huggingface.co/datasets/d0rj/dolphin-ru                                                        |https://github.com/dmitrymailk/verbalist/tree/master/verbalist/datasets/dolphin_ru                       |ru      |3000           |556.1133333      |650.0962612|19              |207    |369.5  |720.25 |6787            |
|dim/runne_prompts                    |https://huggingface.co/datasets/dim/runne_prompts                    |Промпты составленные из датасета RuNNE. Лично я при обучении сотавил промпт следующим образом. Сначала идет текст "Найди все именованные сущности в данном тексте:", а затем шел сам текст. В качестве выхода модели нужно сгенерировать JSON где содержатся все найденные именованные сущности. К примеру так [{"name": "PERSON", "ent": "Ким Чен Нама", "pos": "0 12"}, {"name": "ORGANIZATION", "ent": "Полиция Малайзии", "pos": "56 72"}]                                                                                                                |iluvvatar/RuNNE                                               |https://huggingface.co/datasets/iluvvatar/RuNNE                                                        |https://github.com/dmitrymailk/verbalist/tree/master/verbalist/datasets/RuNNE                            |ru      |537            |1479.750466      |230.0259174|581             |1337   |1480   |1635   |1988            |
|dim/lurk_prompts                     |https://huggingface.co/datasets/dim/lurk_prompts                     |Набор определений различных терминов с сайта lurk. Сами промпты были составлены автоматически следующим образом. напиши определение для (ОПРЕДЕЛЕНИЕ) в стиле lurk                                                                                                                                                                                                                                                                                                                                                                                            |averoo/lurk                                                   |https://huggingface.co/datasets/averoo/lurk/viewer/default/train?p=2                                   |https://github.com/dmitrymailk/verbalist/tree/master/verbalist/datasets/lurk                             |ru      |5671           |3450.34262       |4147.897824|35              |710.5  |2010   |4593   |55098           |
|dim/panorama_prompts_10k             |https://huggingface.co/datasets/dim/panorama_prompts_10k             |Набор юмористических заголовков и текстов новостей с сайта панорама.                                                                                                                                                                                                                                                                                                                                                                                                                                                                                          |its5Q/panorama                                                |https://huggingface.co/datasets/its5Q/panorama                                                         |https://github.com/dmitrymailk/verbalist/tree/master/verbalist/datasets/panorama                         |ru      |11024          |516.9588171      |191.3774023|36              |422    |498    |585    |3496            |
|dim/resh_edu_short_prompts           |https://huggingface.co/datasets/dim/resh_edu_short_prompts           |Набор уроков с сайта resh.edu.ru включающих в себя название урока, тему, класс и текст урока с заданиями.                                                                                                                                                                                                                                                                                                                                                                                                                                                     |its5Q/resh-edu                                                |https://huggingface.co/datasets/its5Q/resh-edu                                                         |https://github.com/dmitrymailk/verbalist/tree/master/verbalist/datasets/resh_edu                         |ru      |2106           |1431.510921      |435.7847102|56              |1175.5 |1517   |1777   |2029            |
|dim/databricks_dolly_15k_ru          |https://huggingface.co/datasets/dim/databricks_dolly_15k_ru          |Переведенный датасет dolly на русский язык. Включает в себя набор инструкций на обширное количество тематик.                                                                                                                                                                                                                                                                                                                                                                                                                                                  |dwarf2/databricks-dolly-15k-ru                                |https://huggingface.co/dwarf2/databricks-dolly-15k-ru                                                  |https://github.com/dmitrymailk/verbalist/tree/master/verbalist/datasets/databricks_dolly_15k_ru          |ru      |14914          |305.4638595      |405.874049 |8               |87     |182    |370    |9268            |
|dim/databricks_dolly_15k_en          |https://huggingface.co/datasets/dim/databricks_dolly_15k_en          |databricks-dolly-15k — это набор данных с открытым исходным кодом, содержащий записи о выполнении инструкций, созданные тысячами сотрудников Databricks в нескольких поведенческих категориях, изложенных в документе InstructGPT, включая мозговой штурм, классификацию, закрытый контроль качества, генерацию, извлечение информации, открытый контроль качества и обобщение.                                                                                                                                                                               |databricks/databricks-dolly-15k                               |https://huggingface.co/datasets/databricks/databricks-dolly-15k                                        |https://github.com/dmitrymailk/verbalist/tree/master/verbalist/datasets/databricks_dolly_15k_en          |en      |15011          |204.7264006      |302.5539423|6               |57     |119    |242    |8883            |
|dim/grammarly_coedit                 |https://huggingface.co/datasets/dim/grammarly_coedit                 |Набор промптов, которые просят исправить грамматические, стилистические ошибки на английском.                                                                                                                                                                                                                                                                                                                                                                                                                                                                 |grammarly/coedit                                              |https://huggingface.co/datasets/grammarly/coedit                                                       |https://github.com/dmitrymailk/verbalist/tree/master/verbalist/datasets/grammarly_coedit                 |en      |82466          |53.7128271       |26.73822864|10              |35     |46     |64     |694             |
|dim/kinopoisk_prompts                |https://huggingface.co/datasets/dim/kinopoisk_prompts                |Отзывы с кинопоиска на топ 250 фильмов. В промптах я прошу написать хороший, плохой или нейтральный отзыв на определенный фильм.                                                                                                                                                                                                                                                                                                                                                                                                                              |blinoff/kinopoisk                                             |https://huggingface.co/datasets/blinoff/kinopoisk                                                      |https://github.com/dmitrymailk/verbalist/tree/master/verbalist/datasets/kinopoisk                        |ru      |36591          |875.0955973      |565.3212035|48              |484    |733    |1117   |8628            |
|dim/medical_qa_ru_prompts            |https://huggingface.co/datasets/dim/medical_qa_ru_prompts            |Какие-то вопросы и ответы с какого-то медицинского форума. В данной версии датасета только первый ответ из оригинала.                                                                                                                                                                                                                                                                                                                                                                                                                                         |blinoff/medical_qa_ru_data                                    |https://huggingface.co/datasets/blinoff/medical_qa_ru_data                                             |https://github.com/dmitrymailk/verbalist/tree/master/verbalist/datasets/medical_qa_ru_data               |ru      |80101          |206.710528       |175.4343973|12              |106    |161    |247    |5062            |
|dim/joke_explaination_prompts        |https://huggingface.co/datasets/dim/joke_explaination_prompts        |Объяснение шуток на английском. От изначального датасета отличается тем, что я убрал последнее предложение из объяснения, так как оно ссылается на видео на сайте.                                                                                                                                                                                                                                                                                                                                                                                            |theblackcat102/joke_explaination                              |https://huggingface.co/datasets/theblackcat102/joke_explaination                                       |https://github.com/dmitrymailk/verbalist/tree/master/verbalist/datasets/joke_explaination                |en      |364            |143.5741758      |68.90275411|21              |99     |137.5  |189.25 |334             |
|dim/oa_stackexchange_200k            |https://huggingface.co/datasets/dim/oa_stackexchange_200k            |Вопросы-ответы со stackexchange. Оригинальный датасет был составлен следующим образом: были выбраны только темы с принятым ответом, для которых длина вопроса и ответа составляет менее 1000 символов. Другие ответы, вопросы без принятых ответов или длинные записи были удалены. Так как оригинальный датасет слишком большой, я рандомно выбрал 200k семплов.                                                                                                                                                                                             |donfu/oa-stackexchange                                        |https://huggingface.co/datasets/donfu/oa-stackexchange                                                 |https://github.com/dmitrymailk/verbalist/tree/master/verbalist/datasets/oa_stackexchange                 |en      |200000         |276.29862        |112.5004436|22              |194    |265    |345    |1226            |
|dim/scale_helpful_no_math            |https://huggingface.co/datasets/dim/scale_helpful_no_math            |Какой-то набор диалогов с вопросами-ответами на английском, происхождение неизвестно.                                                                                                                                                                                                                                                                                                                                                                                                                                                                         |HuggingFaceH4/scale_helpful_no_math                           |https://huggingface.co/datasets/HuggingFaceH4/scale_helpful_no_math/viewer/default/train_rm            |https://github.com/dmitrymailk/verbalist/tree/master/verbalist/datasets/scale_helpful_no_math            |en      |17095          |1235.302603      |838.1097885|53              |663    |1063   |1617   |34480           |
|dim/law_stackexchange_prompts        |https://huggingface.co/datasets/dim/law_stackexchange_prompts        |Вопросы про закон на английском языке со StackExchange. Оригинальный датасет был преобразован в markdown.                                                                                                                                                                                                                                                                                                                                                                                                                                                     |ymoslem/Law-StackExchange                                     |https://huggingface.co/datasets/ymoslem/Law-StackExchange                                              |https://github.com/dmitrymailk/verbalist/tree/master/verbalist/datasets/law_stackexchange                |en      |24343          |689.1184324      |565.0316906|43              |354    |540    |836    |8969            |
|dim/ficbook_prompts_best_10k         |https://huggingface.co/datasets/dim/ficbook_prompts_best_10k         |Топ 10k лучших фанфиков с сайта ficbook.net. Все промпты выглядят следующим образом: напиши фанфик с названием {title} и следующим описанием {description}, с тегами {tags}, Где title это оригинальное название, description оригинальное описание, tags это теги данного произведения.                                                                                                                                                                                                                                                                      |AlexWortega/FicBook                                           |https://huggingface.co/datasets/AlexWortega/FicBook                                                    |https://github.com/dmitrymailk/verbalist/tree/master/verbalist/datasets/ficbook                          |ru      |10000          |1737.8214        |402.0748161|166             |1716   |1950   |1950   |1952            |
|dim/azbyka_logic_ru                  |https://huggingface.co/datasets/dim/azbyka_logic_ru                  |Небольшой набор детских логических и православных задач, взятых с сайта https://azbyka.ru/deti/logicheskie-i-zanimatelnye-zadachi . Обычно у них почти нет развернутого решения, только ответ. Я пытался расписать решение некоторых задач, но меня хватило только на 35, если кто-то займется подобным буду рад https://docs.google.com/spreadsheets/d/1JRbtppbZCUbV_Eqd0nKbRDQEuPnJIAgJ70cUILEDUI4/edit?usp=sharing .                                                                                                                                       |Логические и занимательные задачи (300 задач)                 |https://azbyka.ru/deti/logicheskie-i-zanimatelnye-zadachi                                              |https://github.com/dmitrymailk/verbalist/tree/master/verbalist/datasets/azbyka_logic_ru                  |ru      |480            |77.4375          |77.56990416|14              |31     |50     |91     |652             |
|dim/povarenok                        |https://huggingface.co/datasets/dim/povarenok                        |46k лучших рецептов с сайта povarenok.ru, содержит текст рецепта, список ингридиентов, название блюда                                                                                                                                                                                                                                                                                                                                                                                                                                                         |https://www.povarenok.ru/recipes/                             |https://www.povarenok.ru/recipes/                                                                      |https://github.com/dmitrymailk/verbalist/tree/master/verbalist/datasets/povarenok                        |ru      |46500          |488.9118495      |344.8563249|31              |281    |440    |632    |5542            |
|dim/AO3_fandom_chatbot_1to1          |https://huggingface.co/datasets/dim/AO3_fandom_chatbot_1to1          |Какой-то набор ролеплейных диалогов с описанием персонажей и их отыгрышем. Происхождение неизвестно.                                                                                                                                                                                                                                                                                                                                                                                                                                                          |ebony59/AO3_fandom_chatbot_1to1                               |https://huggingface.co/datasets/ebony59/AO3_fandom_chatbot_1to1                                        |https://github.com/dmitrymailk/verbalist/tree/master/verbalist/datasets/AO3_fandom_chatbot_1to1          |en      |614            |493.7166124      |226.3885365|129             |328.25 |432.5  |611.75 |1272            |
|dim/habr_prompts_5k                  |https://huggingface.co/datasets/dim/habr_prompts_5k                  |Статьи с хабра. Датасет был составлен с помощью chatgpt, chatgpt преобразовывал заголовки таким образом чтобы они звучали как вопросы от пользователя, в качестве таргета выступала сама статья.                                                                                                                                                                                                                                                                                                                                                              |IlyaGusev/habr                                                |https://huggingface.co/datasets/IlyaGusev/habr                                                         |https://github.com/dmitrymailk/verbalist/tree/master/verbalist/datasets/habr                             |ru      |5000           |1732.892         |454.8418369|19              |1920.75|1950   |1951   |1952            |
|dim/what_where_when_50k              |https://huggingface.co/datasets/dim/what_where_when_50k              |50k вопросов с решениями с сайта что где когда. В качестве промпта выступает вопрос, в качестве ответа конкатенация объяснения и краткого ответа. Все вопросы-ответы вы можете найти по этой ссылке https://huggingface.co/datasets/dim/what_where_when_ru                                                                                                                                                                                                                                                                                                    |https://db.chgk.info                                          |https://db.chgk.info                                                                                   |https://github.com/dmitrymailk/verbalist/tree/master/verbalist/datasets/what_where_when                  |ru      |50000          |169.1862         |68.91119898|18              |122    |158    |202    |1167            |
|dim/competition_math                 |https://huggingface.co/datasets/dim/competition_math                 |Датасет олимпиадной математики на английском. The Mathematics Aptitude Test of Heuristics (MATH) dataset.                                                                                                                                                                                                                                                                                                                                                                                                                                                     |competition_math                                              |https://huggingface.co/datasets/competition_math                                                       |https://github.com/dmitrymailk/verbalist/tree/master/verbalist/datasets/competition_math                 |en      |7500           |317.5254667      |267.8583731|34              |147    |234    |393    |3029            |
|dim/sharegpt_short_en_30k            |https://huggingface.co/datasets/dim/sharegpt_short_en_30k            |Короткие диалоги на английском из sharegpt                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                    |RyokoAI/ShareGPT52K                                           |https://huggingface.co/datasets/RyokoAI/ShareGPT52K                                                    |https://github.com/dmitrymailk/verbalist/tree/master/verbalist/datasets/sharegpt                         |en      |29597          |749.3149981      |516.3702473|3               |336    |630    |1095   |2021            |
|dim/ru_turbo_alpaca_evol_instruct    |https://huggingface.co/datasets/dim/ru_turbo_alpaca_evol_instruct    |Набор инструкций различной тематики на русском языке, сгенерированных при помощи chatgpt.                                                                                                                                                                                                                                                                                                                                                                                                                                                                     |IlyaGusev/ru_turbo_alpaca_evol_instruct                       |https://huggingface.co/datasets/IlyaGusev/ru_turbo_alpaca_evol_instruct                                |https://github.com/dmitrymailk/verbalist/tree/master/verbalist/datasets/ru_turbo_alpaca_evol_instruct    |ru      |47793          |453.0887996      |289.5498356|17              |221    |430    |623    |4647            |
|dim/ru_turbo_saiga                   |https://huggingface.co/datasets/dim/ru_turbo_saiga                   |Набор инструкций различной тематики на русском языке, сгенерированных при помощи chatgpt.                                                                                                                                                                                                                                                                                                                                                                                                                                                                     |IlyaGusev/ru_turbo_saiga                                      |https://huggingface.co/datasets/IlyaGusev/ru_turbo_saiga                                               |https://github.com/dmitrymailk/verbalist/tree/master/verbalist/datasets/ru_turbo_saiga                   |ru      |37699          |412.7508687      |113.346917 |87              |339    |398    |466    |1427            |
|dim/bugurt_completion_prompts        |https://huggingface.co/datasets/dim/bugurt_completion_prompts        |Обрезанные бугурты, где в качестве промпта используется строка вида - продолжи бугурт: первая строчка бугурта                                                                                                                                                                                                                                                                                                                                                                                                                                                 |https://t.me/bugurtthread                                     |https://t.me/bugurtthread                                                                              |https://github.com/dmitrymailk/verbalist/tree/master/verbalist/datasets/bugurt_thread                    |ru      |5000           |280.2466         |320.4353681|32              |111    |178    |331    |11333           |
|dim/tldr_17_50k                      |https://huggingface.co/datasets/dim/tldr_17_50k                      |Очень вольная абстрактная саммаризация постов с реддита в одну строчку                                                                                                                                                                                                                                                                                                                                                                                                                                                                                        |webis/tldr-17                                                 |https://huggingface.co/datasets/webis/tldr-17                                                          |https://github.com/dmitrymailk/verbalist/tree/master/verbalist/datasets/tldr_17                          |en      |50000          |421.12752        |403.346214 |10              |177    |303    |525    |9592            |
|dim/grade_school_math_instructions   |https://huggingface.co/datasets/dim/grade_school_math_instructions   |OpenAI's grade-school-math датасет преобразованный в промпты.                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                 |qwedsacf/grade-school-math-instructions                       |https://huggingface.co/datasets/qwedsacf/grade-school-math-instructions                                |https://github.com/dmitrymailk/verbalist/tree/master/verbalist/datasets/grade-school-math-instructions   |en      |8792           |171.6310282      |63.09232668|50              |124    |161    |206    |511             |
|dim/tldr_news                        |https://huggingface.co/datasets/dim/tldr_news                        |Хедлайны и текст новостей на различную тематику.                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                              |JulesBelveze/tldr_news                                        |https://huggingface.co/datasets/JulesBelveze/tldr_news                                                 |https://github.com/dmitrymailk/verbalist/tree/master/verbalist/datasets/tldr_news                        |en      |7138           |133.1004483      |46.48736493|23              |100    |133    |161    |476             |
|dim/grade_school_math_instructions_ru|https://huggingface.co/datasets/dim/grade_school_math_instructions_ru|OpenAI's grade-school-math датасет переведенный на русский.                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                   |d0rj/gsm8k-ru                                                 |https://huggingface.co/datasets/d0rj/gsm8k-ru                                                          |https://github.com/dmitrymailk/verbalist/tree/master/verbalist/datasets/grade_school_math_instructions_ru|ru      |7473           |259.8321959      |100.1229127|78              |185    |241    |314    |838             |
|dim/dialogsum                        |https://huggingface.co/datasets/dim/dialogsum                        |Саммаризация диалогов на английском языке, разметка выполнялась вручную.                                                                                                                                                                                                                                                                                                                                                                                                                                                                                      |knkarthick/dialogsum                                          |https://huggingface.co/datasets/knkarthick/dialogsum                                                   |https://github.com/dmitrymailk/verbalist/tree/master/verbalist/datasets/dialogsum                        |en      |12460          |269.6467095      |126.285664 |75              |191    |245    |327    |1725            |
|dim/HC3_ru                           |https://huggingface.co/datasets/dim/HC3_ru                           |Вопросы-ответы с реддита, есть ответы сгенерированные chatgpt и реальные ответы пользователей. Я использовал только реальные ответы пользователей.                                                                                                                                                                                                                                                                                                                                                                                                            |d0rj/HC3-ru                                                   |https://huggingface.co/datasets/d0rj/HC3-ru                                                            |https://github.com/dmitrymailk/verbalist/tree/master/verbalist/datasets/HC3_ru                           |ru      |24322          |360.5608503      |330.2285903|15              |168    |267    |435    |10025           |
|dim/horoscopes_ru_10k                |https://huggingface.co/datasets/dim/horoscopes_ru_10k                |10k гороскопов, с промптами где я прошу сгенерировать гороском для определенного знака зодиака                                                                                                                                                                                                                                                                                                                                                                                                                                                                |dkagramanyan/horoscopes_ru                                    |https://huggingface.co/datasets/dkagramanyan/horoscopes_ru                                             |https://github.com/dmitrymailk/verbalist/tree/master/verbalist/datasets/horoscopes_ru                    |ru      |10000          |183.1443         |31.62023184|55              |159    |187    |201    |464             |
|dim/yandex_q_200k                    |https://huggingface.co/datasets/dim/yandex_q_200k                    |200k рандомно выбранных вопросов-ответов с сайта yandex q.                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                    |its5Q/yandex-q                                                |https://huggingface.co/datasets/its5Q/yandex-q                                                         |https://github.com/dmitrymailk/verbalist/tree/master/verbalist/datasets/yandex_q                         |ru      |200000         |304.569005       |340.7808288|18              |127    |202    |353    |19294           |
|dim/leetcodesolutions_en_2k          |https://huggingface.co/datasets/dim/leetcodesolutions_en_2k          |Решения задач с leetcode на разных языках.                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                    |TigerResearch/tigerbot-kaggle-leetcodesolutions-en-2k         |https://huggingface.co/datasets/TigerResearch/tigerbot-kaggle-leetcodesolutions-en-2k                  |https://github.com/dmitrymailk/verbalist/tree/master/verbalist/datasets/leetcodesolutions_en_2k          |en      |2048           |740.7441406      |253.2493282|297             |565    |685    |857    |1960            |
|dim/forum_uristov_rf_prompts         |https://huggingface.co/datasets/dim/forum_uristov_rf_prompts         |Вопросы-ответы с российского юридического форума.                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                             |https://xn----dtbrojdkckkfj9k.xn--p1ai/vopros-yuristu?page=560|https://xn----dtbrojdkckkfj9k.xn--p1ai/vopros-yuristu?page=560                                         |https://github.com/dmitrymailk/verbalist/tree/master/verbalist/datasets/forum_uristov_rf                 |ru      |1849           |321.0540833      |429.58896  |31              |134    |210    |349    |6470            |
|dim/dialogsum_ru                     |https://huggingface.co/datasets/dim/dialogsum_ru                     |Саммаризация диалогов на русском языке, перевод dialogsum.                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                    |d0rj/dialogsum-ru                                             |https://huggingface.co/datasets/d0rj/dialogsum-ru                                                      |https://github.com/dmitrymailk/verbalist/tree/master/verbalist/datasets/dialogsum-ru                     |ru      |12460          |364.2813804      |178.7117754|98              |250    |329    |446    |2300            |
|dim/huggingartists_prompts           |https://huggingface.co/datasets/dim/huggingartists_prompts           |Промпты, которые просят продолжить песню в стиле определенного исполнителя. В данном наборе содержатся почти все исполнители, которых вы можете найти в этой организации https://huggingface.co/huggingartists                                                                                                                                                                                                                                                                                                                                                |https://huggingface.co/huggingartists                         |https://huggingface.co/huggingartists                                                                  |https://github.com/dmitrymailk/verbalist/tree/master/verbalist/datasets/huggingartists                   |ru      |64006          |561.6732025      |586.18458  |28              |297    |453    |720    |32949           |


### Модели

На данный момент обучаются 3 модели llama2_7b, llama2_13b и llama1_30b.

За графиками их обучения можно следить в прямом эфире https://api.wandb.ai/links/dimweb/7rh0c7iz

### Код обучения

- [общий алгоритм обучения](https://github.com/dmitrymailk/verbalist/blob/master/verbalist/model/src/train.py)
- [формирование датасетов для обучения](https://github.com/dmitrymailk/verbalist/blob/master/verbalist/model/src/dataset.py#L176)

### Оборудование

Все обучение и инференс производится на видеокарте A100, на других видеокартах была обнаружена существенная деградация качества при инференсе, данный аспект требует дополнительного изучения.

- NVIDIA A100-SXM4-40GB
- NVIDIA-SMI 535.54.03
- Driver Version: 535.54.03
- CUDA Version: 12.2
- torch==2.0.1+cu118

### Дальнейшее развитие

Самое простое, что можно сделать это переводить уже имеющиеся хорошие датасеты с английского на русский при помощи GPT-4.

Более сложное это собирать больше разнообразных данных из различных доменов. Я могу лишь подкинуть идеи для того какие датасеты можно собрать еще.

- решебники по литературе, русскому и другим предметам
- задания со всяких бирж труда
- [краткие пересказы произведений, анализ произведений, сочинения по ним](http://www.litra.ru/shortwork/)
- [туториалы с digital ocean (более 7000)](https://www.digitalocean.com/community/tutorials)
- [туториалы с selectel](https://selectel.ru/blog/tutorials/)
- больше форумов на различные тематики
- [бесплатные эссе с ivypanda essays](https://ivypanda.com/essays/) и дальнейший их перевод на русский
- больше стихов и песен
- [олимпиадные русские задачи](https://math.ru/problems/) их очень сложно собирать, так как большинство их них живут только в PDF или docx. Но их довольно много и они довольно отличаются от олимпиадной математики на английском. Но у меня нет времени этим заниматься.
- фанфики на иностранном языке
- исправить текущие автоматические промпты на более разнообразные, при помощи chatgpt

