|
--- |
|
datasets: |
|
- IlyaGusev/ru_turbo_alpaca |
|
- yahma/alpaca-cleaned |
|
language: |
|
- ru |
|
pipeline_tag: text2text-generation |
|
inference: false |
|
--- |
|
|
|
|
|
Based on [LLaMA 13B](https://huggingface.co/decapoda-research/llama-13b-hf). |
|
|
|
Improved on [llama_13b_ru_turbo_alpaca_lora](https://huggingface.co/IlyaGusev/llama_13b_ru_turbo_alpaca_lora). |
|
|
|
|
|
Improved parameters: |
|
|
|
``` |
|
{ |
|
"base_model_name_or_path": "./llama-13b-hf", |
|
"bias": "none", |
|
"enable_lora": null, |
|
"fan_in_fan_out": false, |
|
"inference_mode": true, |
|
"lora_alpha": 16, |
|
"lora_dropout": 0.05, |
|
"merge_weights": false, |
|
"modules_to_save": null, |
|
"peft_type": "LORA", |
|
"r": 16, |
|
"target_modules": [ |
|
"q_proj", |
|
"v_proj" |
|
], |
|
"task_type": "CAUSAL_LM" |
|
} |
|
``` |
|
Cutoff length set to 512 |
|
|
|
|
|
Example: |
|
|
|
``` |
|
### Задание: Сочини длинный и интригующий рассказ, обязательно упоминая следующие объекты. |
|
### Вход: Таня. мяч |
|
### Ответ: |
|
Таня была обычной девочкой, которая любила играть в футбол с друзьями. Она всегда была настолько энергична и решительна, что никогда не оставалась без победы. Но однажды, когда она играла со своими друзьями, она случайно потеряла свой мяч. Это было так страшно для нее, что она начала рыдать. |
|
Однако, когда Таня вернулась домой, ее мама подхватила и пригласила Таню на прогулку. Мама увидела, как Таня переживает из-за потери своего мяча, и решила помочь ей. |
|
Они отправились на поиски мяча, но ничего не нашли. Таня чувствовала себя очень грустной и думала, что её мяч навсегда утерян. Но тут, когда они уже готовы были вернуться домой, Таня заметила, что там был такой же мяч. |
|
Мама была поражена, и они оба поняли, что это был знак - это был тот самый мяч, который она искала весь день. Он был просто забыт где-то на улице, и его подобрала случайно маленькая девочка. |
|
Таня была счастлива, что нашла свой мяч, и теперь она знала, что даже если что-то пропадает, оно может быть найдено, если только ты ищешь достаточно долго. |
|
``` |
|
|
|
``` |
|
Prompt template: |
|
|
|
{ |
|
"description": "A shorter template to experiment with.", |
|
"prompt_input": "### Задание:\n{instruction}\n\n### Вход:\n{input}\n\n### Ответ:\n", |
|
"prompt_no_input": "### Задание:\n{instruction}\n\n### Ответ:\n", |
|
"response_split": "### Ответ:" |
|
} |
|
``` |
|
|
|
[WandB report](https://wandb.ai/lksy/huggingface/runs/vam3hdal) |
|
|
|
Epochs: 3 |
|
|
|
Loss: 0.9531 |
|
|
