---
datasets:
- IlyaGusev/ru_turbo_alpaca
- yahma/alpaca-cleaned
language:
- ru
pipeline_tag: text2text-generation
inference: false
---


Based on [LLaMA 13B](https://huggingface.co/decapoda-research/llama-13b-hf).

Improved on [llama_13b_ru_turbo_alpaca_lora](https://huggingface.co/IlyaGusev/llama_13b_ru_turbo_alpaca_lora).


Improved parameters:

```
{
  "base_model_name_or_path": "./llama-13b-hf",
  "bias": "none",
  "enable_lora": null,
  "fan_in_fan_out": false,
  "inference_mode": true,
  "lora_alpha": 16,
  "lora_dropout": 0.05,
  "merge_weights": false,
  "modules_to_save": null,
  "peft_type": "LORA",
  "r": 16,
  "target_modules": [
    "q_proj",
    "v_proj"
  ],
  "task_type": "CAUSAL_LM"
}
```
Cutoff length set to 512


Example:

```
### Задание: Сочини длинный и интригующий рассказ, обязательно упоминая следующие объекты.
### Вход: Таня. мяч
### Ответ: 
Таня была обычной девочкой, которая любила играть в футбол с друзьями. Она всегда была настолько энергична и решительна, что никогда не оставалась без победы. Но однажды, когда она играла со своими друзьями, она случайно потеряла свой мяч. Это было так страшно для нее, что она начала рыдать.
Однако, когда Таня вернулась домой, ее мама подхватила и пригласила Таню на прогулку. Мама увидела, как Таня переживает из-за потери своего мяча, и решила помочь ей.
Они отправились на поиски мяча, но ничего не нашли. Таня чувствовала себя очень грустной и думала, что её мяч навсегда утерян. Но тут, когда они уже готовы были вернуться домой, Таня заметила, что там был такой же мяч.
Мама была поражена, и они оба поняли, что это был знак - это был тот самый мяч, который она искала весь день. Он был просто забыт где-то на улице, и его подобрала случайно маленькая девочка.
Таня была счастлива, что нашла свой мяч, и теперь она знала, что даже если что-то пропадает, оно может быть найдено, если только ты ищешь достаточно долго.
```

```
Prompt template:

{
    "description": "A shorter template to experiment with.",
    "prompt_input": "### Задание:\n{instruction}\n\n### Вход:\n{input}\n\n### Ответ:\n",
    "prompt_no_input": "### Задание:\n{instruction}\n\n### Ответ:\n",
    "response_split": "### Ответ:"    
}
```

[WandB report](https://wandb.ai/lksy/huggingface/runs/vam3hdal)

Epochs: 3

Loss: 0.9531