Edit model card

sr en

O modelu

YugoGPT je trenutno najbolji "open source" model za srpski, hrvatski, bosanski... i sve ostale jezike na koje uspemo da se "podelimo" 🙂

Ovaj repozitorijum sadrži model u GGUF formatu, koji je pogodan za korišćenje modela u lokalu i ne zahteva skupe grafičke kartice.

Verzije modela

Da bi model radio brže, kompresovan je u nekoliko manjih verzija. Kompresijom se neznatno gubi na kvalitetu, ali se znatno dobija na brzini.

Preporučeno je koristiti Q4_1 verziju jer je najbrža.

Naziv Veličina (GB) Napomena
Q4_1 4.55 Težine su kompresovane na 4 bita. Najbrža verzija.
q8_0 7.7 Težine su kompresovane na 8 bita.
fp16 14.5 Težine se čuvaju kao 16 bita.
fp32 29 Originalne, 32 bitne težine. Nepotrebno za korišćenje na lokalnom računaru

Kako koristiti ovaj model na svom računaru?

LMStudio - najlakši način ⚡️

Najlakši način je da se prvo instalira LMStudio, program koji omogućuva veoma lako korišćenje LLM-ova.

  • Nakon instalacije, u polju za pretragu ukucaj "alkibijad/YugoGPT": Pretraga
  • Izaberi neki od modela (preporučeno Q4_1): Izaberi model
  • Nakon što se model "skine", klikni na "chat" u levom delu ekrana i možeš da ćaskaš sa modelom.
  • [Opciono] Možeš da podesiš "system prompt", npr. "Ti si AI asistent koji uvek želi da pomogne." ili kako god već hoćeš. Chat

To je to!

llama.cpp - napredno 🤓

Ako si napredan korisnik i želiš da se petljaš sa komandnom linijom i naučiš više o GGUF formatu, idi na llama.cpp i pročitaj uputstva 🙂

Naredni koraci 🐾

Ovaj repozitorijum je plod mini projekta za upoznavanje sa GGUF formatom. Ovo bi mogli biti naredni koraci, ali teško da će do njih doći:

  • [] Konvertovanje u još neke od varijanti (npr. 5 bitova, 2 bita itd.) Ovo teško da ću raditi pošto je zapravo to već uradjeno ovde 🙌
  • [] Kačenje koda za konverziju. U suštini dovoljno je pratiti ova uputstva.
Downloads last month
287
GGUF
Model size
7.24B params
Architecture
llama

4-bit

8-bit

16-bit

32-bit

Inference API
Inference API (serverless) has been turned off for this model.

Model tree for alkibijad/YugoGPT-GGUF

Quantized
(6)
this model