This model was trained using Andrej Karpathy's code on Russian poetic texts written in iambus. Models of this type well represent poetic style.
Model was trained with size 512 and 7 layers, dropout 0.5.
There are 2 checkpoints of this model presented in the repository. One after 19 epochs with loss 0.7817, the other after 38 epochs with loss 0.7705. These metrics are in the file name.
Usage
The procedure for installing the required software is described by Karpathy, torch is required, the code is written in lua. Be careful, versions of libraries written many years ago are used.
th sample.lua lm_lstm_epoch38.47_0.7705.t7 -length 10000 -temperature 0.5 -primetext 'some text'
Train data
Train data is non free due to copyright restrictions. Iambic lines taken from RNC. Corpus conists of 1,449,997 words, 9,116,311 symbols.
What for?
In an era of winning Transformers, ancient RNN models seem archaic. But I see that they still work better than modern architectures with such important categories from the humanities point of view as poetic style. Also RNN can reprodce poetic meter.
Publication
The texts that produced this model were published in "Neyrolirika" book.
Samples
Поверь, как ты не жаль с вершины,
как осени неудержимый,
один от залу уронили
и теплые закрыты речи.
Один ветром со здания, каких
кокиску хвалит / по березу
надломленной последний мор.
Вздымались журавли камины
И путь колышется в текут:
О, если б быть пророчество,
Так долю прежди не растут.
И демон что-то пропустил…
Так -- Иванинии. Окно
Наш ивводить я понимаю:
Сегодня за жилья он верит
Неизбежимыми очами:
За то, что мажет дом и губ,
Как музыка улыбкой звука;
Я много сказан, тешив старо,
И может ль для держала грязь,
Прекрасней тельст поместил мыши,
Тоску, нельзя и у себя;
Нашла, и марса льются лук.
Ты оскверняешь, выйду, я простую,
Когда надежда не бери ты,
Что славорудою отрады
При милостях. И в страшный час,
Ты вместе лишь, как выносившись,
Корысти звездов, опустевший,
Не потому быть жертва им.
Из что их, и закрыты дели:
Вот там привыкнется спину.
Когда в задумчивом проворности
Любовь, не я враждебный час
Блестит -- согласьем совершенства,
Очам ей внукам приводить?
Мы знаем, что почти на счастьи!
Как царь, уверья отдаленной,
В добро-своем в слезах, где камню
Всё реет песние цветах.
Не все -- мое саня дела.
Нам думал он изнемогало:
Не в чадах смрадов и тучей
Целите зыбь! Тут хороша.
Стеклянный вой по грекам мать
Маркизы книжные лилеей
Блистали перстом с обвирает
и перед свищущим печалем.
Ависмеи, кричит котаве
На лесе колбин ветви степь...
Но Калоход пробыл поэт
Вчера над мыслью вечных тес;
И ночь заснула с принимать;
Но в мире я внушаю мест
Самую бедности твоей.
BibTeX entry and citation info
For more insights see:
@article{orekhov2020neural,
title={Neural reading: Insights from the analysis of poetry generated by artificial neural networks},
author={Orekhov, Boris and Fischer, Frank},
journal={Orbis Litterarum},
volume={75},
number={5},
pages={230--246},
year={2020},
publisher={Wiley Online Library}
}