language: | |
- ru | |
- en | |
pipeline_tag: text-generation | |
Original https://huggingface.co/zlsl/ruGPT-3.5-13B-erotic-kink-chat-lora | |
LoRA (rank 16, alpha 16) улучшает диалоги на кхм, пикантные темы для ruGPT-3.5-13B. | |
Обучается на 4-bit GPTQ модели ruGPT-3.5-13B, как будет работать на полной и 8-битной модели не проверял, на 4-х битах результат очень хороший. LoRA будет регулярно обновляться. | |
Датасет - input-output с контекстом, на данный момент ~1Гб | |
В стоп-лист добавляйте "\n", "</s>" |