Update README.md
Browse files
README.md
CHANGED
@@ -30,21 +30,21 @@ In addition to **safetensors**, the model is available in **GGUF** formats (in t
|
|
30 |
| [gemma-2-9B-it-russian-function-calling-Q5_K_S.gguf](https://huggingface.co/DiTy/gemma-2-9b-it-russian-function-calling-GGUF/blob/main/gemma-2-9B-it-russian-function-calling-Q5_K_S.gguf) | Q5_K_S | 6.48GB | High quality, very usable. |
|
31 |
|
32 |
|
33 |
-
## Model card
|
34 |
|
35 |
-
* [
|
36 |
-
* [
|
37 |
-
* [Prompt
|
38 |
-
* [
|
39 |
|
40 |
-
##
|
41 |
|
42 |
Ниже представлены некоторые фрагменты кода о том, как быстро приступить к запуску модели. Сначала установите библиотеку Transformers с помощью:
|
43 |
```bash
|
44 |
pip install -U transformers
|
45 |
```
|
46 |
|
47 |
-
### <a name="prepare_func_call"></a
|
48 |
|
49 |
Вы должны написать функции (инструменты), используемые моделью, в *коде на Python* и обязательно добавить *Python docstrings*, как в примере ниже:
|
50 |
```python
|
@@ -71,7 +71,7 @@ def get_sunrise_sunset_times(city: str):
|
|
71 |
return ["6:00", "18:00"]
|
72 |
```
|
73 |
|
74 |
-
### <a name="just_chat_template"></a
|
75 |
|
76 |
Далее вам нужно загрузить модель и токенизатор:
|
77 |
```python
|
@@ -248,7 +248,7 @@ print(generated_response)
|
|
248 |
В Краснодаре солнце восходит в 6:00 утра и заходит в 18:00 вечера.<end_of_turn>
|
249 |
```
|
250 |
|
251 |
-
##
|
252 |
|
253 |
<details>
|
254 |
<summary>
|
@@ -292,7 +292,7 @@ print(outputs[0]["generated_text"][len(inputs):])
|
|
292 |
|
293 |
</details>
|
294 |
|
295 |
-
## <a name="roles"></a>Prompt
|
296 |
|
297 |
Для наиболее корректной работы модели предполагается, что будет использоваться `apply_chat_template`.
|
298 |
Необходимо передать историю сообщений в определенном формате.
|
@@ -315,7 +315,7 @@ history_messages = [
|
|
315 |
* `model` - содержимое, относящееся к этой роли, считается сгенерированным текстом модели.
|
316 |
|
317 |
|
318 |
-
###
|
319 |
|
320 |
```
|
321 |
[
|
@@ -370,7 +370,7 @@ history_messages = [
|
|
370 |
```
|
371 |
|
372 |
|
373 |
-
###
|
374 |
|
375 |
```
|
376 |
[
|
@@ -387,7 +387,7 @@ history_messages = [
|
|
387 |
Расскажи мне о Москве<end_of_turn>
|
388 |
```
|
389 |
|
390 |
-
## <a name="eval"></a
|
391 |
|
392 |
В процессе обучения ошибка валидации была приближена к следующим значениям:
|
393 |
|
|
|
30 |
| [gemma-2-9B-it-russian-function-calling-Q5_K_S.gguf](https://huggingface.co/DiTy/gemma-2-9b-it-russian-function-calling-GGUF/blob/main/gemma-2-9B-it-russian-function-calling-Q5_K_S.gguf) | Q5_K_S | 6.48GB | High quality, very usable. |
|
31 |
|
32 |
|
33 |
+
## Model card разделы
|
34 |
|
35 |
+
* [Как подготовить ваши функции (tools) для *Function Calling*](#prepare_func_call)
|
36 |
+
* [Просто используйте chat template для генерации](#just_chat_template)
|
37 |
+
* [Prompt структура и ожидаемый контент](#roles)
|
38 |
+
* [Оценка моделей под вызов функций](#eval)
|
39 |
|
40 |
+
## Использование (HuggingFace Transformers)
|
41 |
|
42 |
Ниже представлены некоторые фрагменты кода о том, как быстро приступить к запуску модели. Сначала установите библиотеку Transformers с помощью:
|
43 |
```bash
|
44 |
pip install -U transformers
|
45 |
```
|
46 |
|
47 |
+
### <a name="prepare_func_call"></a>Как подготовить ваши функции (tools) для *Function Calling*
|
48 |
|
49 |
Вы должны написать функции (инструменты), используемые моделью, в *коде на Python* и обязательно добавить *Python docstrings*, как в примере ниже:
|
50 |
```python
|
|
|
71 |
return ["6:00", "18:00"]
|
72 |
```
|
73 |
|
74 |
+
### <a name="just_chat_template"></a>Просто используйте chat template для генерации
|
75 |
|
76 |
Далее вам нужно загрузить модель и токенизатор:
|
77 |
```python
|
|
|
248 |
В Краснодаре солнце восходит в 6:00 утра и заходит в 18:00 вечера.<end_of_turn>
|
249 |
```
|
250 |
|
251 |
+
## Использование через transformers `pipeline`
|
252 |
|
253 |
<details>
|
254 |
<summary>
|
|
|
292 |
|
293 |
</details>
|
294 |
|
295 |
+
## <a name="roles"></a>Prompt структура и ожидаемый контент
|
296 |
|
297 |
Для наиболее корректной работы модели предполагается, что будет использоваться `apply_chat_template`.
|
298 |
Необходимо передать историю сообщений в определенном формате.
|
|
|
315 |
* `model` - содержимое, относящееся к этой роли, считается сгенерированным текстом модели.
|
316 |
|
317 |
|
318 |
+
### Структура истории чата для *Function Calling*
|
319 |
|
320 |
```
|
321 |
[
|
|
|
370 |
```
|
371 |
|
372 |
|
373 |
+
### Структура истории чата для обычного user-model шаблона
|
374 |
|
375 |
```
|
376 |
[
|
|
|
387 |
Расскажи мне о Москве<end_of_turn>
|
388 |
```
|
389 |
|
390 |
+
## <a name="eval"></a>Оценка моделей
|
391 |
|
392 |
В процессе обучения ошибка валидации была приближена к следующим значениям:
|
393 |
|