---
library_name: transformers
license: llama3.2
language:
- ru
- en
pipeline_tag: text-generation
---

# Cotype-Nano-4bit🤖

Llama-3-Cotype-Nano-4bit – это LLM, которая весит меньше и работает быстрее чем Cotype-Nano, при этом сохраняя свои языковые способности

Llama-3-Cotype-Nano-4bit is an LLM that is lighter and runs faster than Cotype-Nano, while maintaining its language capabilities.

### Inference with vLLM
```
python3 -m vllm.entrypoints.openai.api_server --model MTSAIR/Cotype-Nano-4bit --port 8000
```

### Recommended generation parameters and system prompt
```python
import openai
import pandas as pd
from tqdm import tqdm

openai.api_key = 'xxx'

endpoint = 'http://localhost:8000/v1'
model = 'MTSAIR/Cotype-Nano-4bit'
openai.api_base = endpoint

response = openai.ChatCompletion.create(
    model=model,
    temperature=0.0, # также допускается 0.2
    frequency_penalty=0.0,
    max_tokens=2048,
    top_p=0.1, # также допускается 0.9
    messages=[
          {"role": "system", "content": "Ты — ИИ-помощник. Тебе дано задание: необходимо сгенерировать подробный и развернутый ответ."},
          {"role": "user", "content": "Расскажи мне про ИИ, коротко"}
        ]
    )

answer = response["choices"][0]["message"]["content"]
print(answer)
```

### Inference with Huggingface
```python
from transformers import pipeline

pipe = pipeline("text-generation", model="MTSAIR/Cotype-Nano-4bit", device="cuda")

messages = [
  {"role": "system", "content": "Ты — ИИ-помощник. Тебе дано задание: необходимо сгенерировать подробный и развернутый ответ."},
  {"role": "user", "content": "Расскажи мне про ИИ"},
]

res = pipe(messages, max_length=1024)
print(res[0]['generated_text'][1])
```


## Example request

**Request:** 


#### Cotype-Nano-4bit response:

> ### Рекламный текст для магазина эколокичной одежды
>  
> ---
> 
> **Экологичная одежда для каждого!**
> 
> Привет, любитель чистой и устойчивой моды! Мы рады представить вам нашу эколокичную коллекцию одежды, которая не только выглядит великолепно, но и заботится о природе.
> 
> **Почему выбирают эколокичную одежду?**
> 
> 1. **Экологичность:** Мы используем только экологически чистые материалы, которые не наносят вреда окружающей среде.
> 2. **Справедливость:** Все наши продукты производятся с учетом принципов устойчивого развития и справедливого обращения с людьми.
> 3. **Качество:** Надежные материалы и качественная работа гарантируют долговечность и долгую жизнь вашей одежды.
> 4. **Современность:** Новейшие технологии и дизайн делают нашу одежду не только экологичной, но и стильной.
> 
> **Наша коллекция**
> 
> - **Мужская одежда:** От классических рубашек до удобных брюк, наша мужская одежда идеально подходит для любого случая.
> - **Женская одежда:** Светлые и темные, синие и красные, наша женская одежда создана для того, чтобы удовлетворить самые разные предпочтения.
> - **Детская одежда:** Специальные модели для малышей, которые не только выглядят привлекательно, но и безопасны для здоровья.
> 
> **Куда обратиться?**
> 
> Не теряйте время и приходите в наш магазин, чтобы лично ознакомиться с нашими коллекциями и выбрать идеальную вещь для себя или для подарка. Мы всегда рады помочь и ответить на все ваши вопросы!
> 
> **Мы ждем вас!**
> 
> С уважением,
> **Магазин эколокичной одежды**