DiTy commited on
Commit
d1c9467
1 Parent(s): 7ef360a

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +13 -13
README.md CHANGED
@@ -30,21 +30,21 @@ In addition to **safetensors**, the model is available in **GGUF** formats (in t
30
  | [gemma-2-9B-it-russian-function-calling-Q5_K_S.gguf](https://huggingface.co/DiTy/gemma-2-9b-it-russian-function-calling-GGUF/blob/main/gemma-2-9B-it-russian-function-calling-Q5_K_S.gguf) | Q5_K_S | 6.48GB | High quality, very usable. |
31
 
32
 
33
- ## Model card tree
34
 
35
- * [How prepare your functions (tools) for *Function Calling*](#prepare_func_call)
36
- * [Just use chat template for generation](#just_chat_template)
37
- * [Prompt structure and expected content](#roles)
38
- * [Evaluation of function calling models](#eval)
39
 
40
- ## Usage (HuggingFace Transformers)
41
 
42
  Ниже представлены некоторые фрагменты кода о том, как быстро приступить к запуску модели. Сначала установите библиотеку Transformers с помощью:
43
  ```bash
44
  pip install -U transformers
45
  ```
46
 
47
- ### <a name="prepare_func_call"></a>Prepare your functions for *Function Calling*
48
 
49
  Вы должны написать функции (инструменты), используемые моделью, в *коде на Python* и обязательно добавить *Python docstrings*, как в примере ниже:
50
  ```python
@@ -71,7 +71,7 @@ def get_sunrise_sunset_times(city: str):
71
  return ["6:00", "18:00"]
72
  ```
73
 
74
- ### <a name="just_chat_template"></a>Just use chat template
75
 
76
  Далее вам нужно загрузить модель и токенизатор:
77
  ```python
@@ -248,7 +248,7 @@ print(generated_response)
248
  В Краснодаре солнце восходит в 6:00 утра и заходит в 18:00 вечера.<end_of_turn>
249
  ```
250
 
251
- ## Usage via transformers `pipeline`
252
 
253
  <details>
254
  <summary>
@@ -292,7 +292,7 @@ print(outputs[0]["generated_text"][len(inputs):])
292
 
293
  </details>
294
 
295
- ## <a name="roles"></a>Prompt structure and expected content
296
 
297
  Для наиболее корректной работы модели предполагается, что будет использоваться `apply_chat_template`.
298
  Необходимо передать историю сообщений в определенном формате.
@@ -315,7 +315,7 @@ history_messages = [
315
  * `model` - содержимое, относящееся к этой роли, считается сгенерированным текстом модели.
316
 
317
 
318
- ### Chat history with *Function Calling*
319
 
320
  ```
321
  [
@@ -370,7 +370,7 @@ history_messages = [
370
  ```
371
 
372
 
373
- ### Chat history with a standard user-model template
374
 
375
  ```
376
  [
@@ -387,7 +387,7 @@ history_messages = [
387
  Расскажи мне о Москве<end_of_turn>
388
  ```
389
 
390
- ## <a name="eval"></a>Evaluation
391
 
392
  В процессе обучения ошибка валидации была приближена к следующим значениям:
393
 
 
30
  | [gemma-2-9B-it-russian-function-calling-Q5_K_S.gguf](https://huggingface.co/DiTy/gemma-2-9b-it-russian-function-calling-GGUF/blob/main/gemma-2-9B-it-russian-function-calling-Q5_K_S.gguf) | Q5_K_S | 6.48GB | High quality, very usable. |
31
 
32
 
33
+ ## Model card разделы
34
 
35
+ * [Как подготовить ваши функции (tools) для *Function Calling*](#prepare_func_call)
36
+ * [Просто используйте chat template для генерации](#just_chat_template)
37
+ * [Prompt структура и ожидаемый контент](#roles)
38
+ * [Оценка моделей под вызов функций](#eval)
39
 
40
+ ## Использование (HuggingFace Transformers)
41
 
42
  Ниже представлены некоторые фрагменты кода о том, как быстро приступить к запуску модели. Сначала установите библиотеку Transformers с помощью:
43
  ```bash
44
  pip install -U transformers
45
  ```
46
 
47
+ ### <a name="prepare_func_call"></a>Как подготовить ваши функции (tools) для *Function Calling*
48
 
49
  Вы должны написать функции (инструменты), используемые моделью, в *коде на Python* и обязательно добавить *Python docstrings*, как в примере ниже:
50
  ```python
 
71
  return ["6:00", "18:00"]
72
  ```
73
 
74
+ ### <a name="just_chat_template"></a>Просто используйте chat template для генерации
75
 
76
  Далее вам нужно загрузить модель и токенизатор:
77
  ```python
 
248
  В Краснодаре солнце восходит в 6:00 утра и заходит в 18:00 вечера.<end_of_turn>
249
  ```
250
 
251
+ ## Использование через transformers `pipeline`
252
 
253
  <details>
254
  <summary>
 
292
 
293
  </details>
294
 
295
+ ## <a name="roles"></a>Prompt структура и ожидаемый контент
296
 
297
  Для наиболее корректной работы модели предполагается, что будет использоваться `apply_chat_template`.
298
  Необходимо передать историю сообщений в определенном формате.
 
315
  * `model` - содержимое, относящееся к этой роли, считается сгенерированным текстом модели.
316
 
317
 
318
+ ### Структура истории чата для *Function Calling*
319
 
320
  ```
321
  [
 
370
  ```
371
 
372
 
373
+ ### Структура истории чата для обычного user-model шаблона
374
 
375
  ```
376
  [
 
387
  Расскажи мне о Москве<end_of_turn>
388
  ```
389
 
390
+ ## <a name="eval"></a>Оценка моделей
391
 
392
  В процессе обучения ошибка валидации была приближена к следующим значениям:
393