metadata

library_name: transformers
license: llama3.2
language:
  - ru
  - en
pipeline_tag: text-generation

Cotype-Nano-4bit🤖

Llama-3-Cotype-Nano-4bit – это LLM, которая весит меньше и работает быстрее чем Cotype-Nano, при этом сохраняя свои языковые способности

Llama-3-Cotype-Nano-4bit is an LLM that is lighter and runs faster than Cotype-Nano, while maintaining its language capabilities.

Inference with vLLM

python3 -m vllm.entrypoints.openai.api_server --model MTSAIR/Cotype-Nano-4bit --port 8000

Recommended generation parameters and system prompt

import openai
import pandas as pd
from tqdm import tqdm

openai.api_key = 'xxx'

endpoint = 'http://localhost:8000/v1'
model = 'MTSAIR/Cotype-Nano-4bit'
openai.api_base = endpoint

response = openai.ChatCompletion.create(
    model=model,
    temperature=0.0, # также допускается 0.2
    frequency_penalty=0.0,
    max_tokens=2048,
    top_p=0.1, # также допускается 0.9
    messages=[
          {"role": "system", "content": "Ты — ИИ-помощник. Тебе дано задание: необходимо сгенерировать подробный и развернутый ответ."},
          {"role": "user", "content": "Расскажи мне про ИИ, коротко"}
        ]
    )

answer = response["choices"][0]["message"]["content"]
print(answer)

Inference with Huggingface

from transformers import pipeline

pipe = pipeline("text-generation", model="MTSAIR/Cotype-Nano-4bit", device="cuda")

messages = [
  {"role": "system", "content": "Ты — ИИ-помощник. Тебе дано задание: необходимо сгенерировать подробный и развернутый ответ."},
  {"role": "user", "content": "Расскажи мне про ИИ"},
]

res = pipe(messages, max_length=1024)
print(res[0]['generated_text'][1])

Example request

Request:

Cotype-Nano-4bit response:

Рекламный текст для магазина эколокичной одежды

Экологичная одежда для каждого!

Привет, любитель чистой и устойчивой моды! Мы рады представить вам нашу эколокичную коллекцию одежды, которая не только выглядит великолепно, но и заботится о природе.

Почему выбирают эколокичную одежду?

Экологичность: Мы используем только экологически чистые материалы, которые не наносят вреда окружающей среде.

Справедливость: Все наши продукты производятся с учетом принципов устойчивого развития и справедливого обращения с людьми.

Качество: Надежные материалы и качественная работа гарантируют долговечность и долгую жизнь вашей одежды.

Современность: Новейшие технологии и дизайн делают нашу одежду не только экологичной, но и стильной.

Наша коллекция

Мужская одежда: От классических рубашек до удобных брюк, наша мужская одежда идеально подходит для любого случая.

Женская одежда: Светлые и темные, синие и красные, наша женская одежда создана для того, чтобы удовлетворить самые разные предпочтения.

Детская одежда: Специальные модели для малышей, которые не только выглядят привлекательно, но и безопасны для здоровья.

Куда обратиться?

Не теряйте время и приходите в наш магазин, чтобы лично ознакомиться с нашими коллекциями и выбрать идеальную вещь для себя или для подарка. Мы всегда рады помочь и ответить на все ваши вопросы!

Мы ждем вас!

С уважением, Магазин эколокичной одежды