Update README.md
Browse files
README.md
CHANGED
@@ -5,15 +5,15 @@ language:
|
|
5 |
- ru
|
6 |
---
|
7 |
|
8 |
-
# Saiga2-13B-4bit
|
9 |
Это GPTQ модель для [saiga2-13B-lora](https://huggingface.co/IlyaGusev/saiga2_13b_lora) model.
|
10 |
-
##
|
11 |
Модель квантизована в 4-битную с помощью [AutoGPTQ](https://github.com/PanQiWei/AutoGPTQ) library
|
12 |
-
##
|
13 |
-
Удостоверьтесь, что [AutoGPTQ](https://github.com/PanQiWei/AutoGPTQ) установлена:
|
14 |
GITHUB_ACTIONS=true pip install auto-gptq
|
15 |
|
16 |
-
Пример кода для использования модели в генерации ответа:
|
17 |
|
18 |
```python
|
19 |
from transformers import AutoTokenizer
|
|
|
5 |
- ru
|
6 |
---
|
7 |
|
8 |
+
# Описание Saiga2-13B-4bit
|
9 |
Это GPTQ модель для [saiga2-13B-lora](https://huggingface.co/IlyaGusev/saiga2_13b_lora) model.
|
10 |
+
## Технические детали
|
11 |
Модель квантизована в 4-битную с помощью [AutoGPTQ](https://github.com/PanQiWei/AutoGPTQ) library
|
12 |
+
## Пример использования
|
13 |
+
1. Удостоверьтесь, что [AutoGPTQ](https://github.com/PanQiWei/AutoGPTQ) установлена:
|
14 |
GITHUB_ACTIONS=true pip install auto-gptq
|
15 |
|
16 |
+
2. Пример кода для использования модели в генерации ответа:
|
17 |
|
18 |
```python
|
19 |
from transformers import AutoTokenizer
|