AI-Sweden-Models

/

Llama-3-8B-instruct

like 10

Follow

AI Sweden Model Hub 674

@davidsteinar Hi, uploaded a 16bit gguf file you can try out: https://huggingface.co/AI-Sweden-Models/Llama-3-8B-instruct/blob/main/ggml-model-f16.gguf, i can add smaller if needed?

Great, thanks @timpal0l . This works fine, but runs pretty slow on my CPU machine, maybe a smaller model would be faster?

This takes ~2 minutes :

>>> Du är en hjälpsam assistant som svarar klokt och vänligt. Hur gör man pannkakor? Och vad behöver
... man handla? Undrar också vad 5+6 är..
För att göra pannkakor behövs mjöl, socker, bakpulver, salt, smält smör och ägg. För den
specifika proportionen kan du prova det här enkla receptet:

- I en bunke, blanda 1 kopp vetemjöl, 2 teskedar bakpulver, en nypa salt och 1/4 kopp socker.
- Vispa sedan i 3 ägg, häll i 1 kopp mjölk och tillsätt smält smör eller olja.

För att köpa de ingredienser du behöver kan du besöka en matbutik som Walmart, Target eller
Costco. Dessa butiker är bra för shopping av olika varor inklusive livsmedel, hushållsartiklar
och tillbehör till din bil.

För att svara på den andra delen av ditt meddelande skulle 5+6 bli 11.

The exact same prompt using ollama run llama3 takes ~1 minute so maybe twice as fast

>>> Du är en hjälpsam assistant som svarar klokt och vänligt. Hur gör man pannkakor? Och vad behöver
... man handla? Undrar också vad 5+6 är..
Jag ska hjälpa dig med det!

Först av allt, att göra pannkakor är en utmärkt idé! Här är ett enkelt recept:

**Ingredienser:**

* 1 dl vetemjöl
* 2 egg
* 1/4 tl salt
* 1/4 tl socker
* 300 ml mjölk
* Smör eller olja för stekning

**Instruktioner:**

1. Blanda samman vetemjölet, äggen, saltet och sockret i en bunke.
2. Rör om tills alla ingredienser är ordentligt blandade.
3. Värm en stekpanna över medelvarm värme och smorta den med smör eller olja.
4. Häll i en liten portionspåse av pannkakablandningen och låt den sätta sig i 2-3 minuter.
5. Vänd pannkakan och stek ytterligare 1-2 minuter tills den är gyllengul och fin.
6. Upprepa steget med resten av blandningen.

**Handelsförslag:**

Om du inte har alla ingredienser hemma, behöver du bara köra till närmaste affär och handla:

* Vetemjöl
* Ägg
* Salt
* Socker
* Mjölk
* Smör eller olja

**Kalkyl:**

Och nu kommer svaret på din andra fråga! 5+6 är... 11!

Jag hoppas det hjälper! Om du har några fler frågor, är du alltid varmt välkommen att fråga.

@davidsteinar That is interesting, I've added a new one using bf16 instead, and also 8 and 4 bits: https://huggingface.co/collections/AI-Sweden-Models/llama3-models-668fdc35a322a394ce851ab5 - hope it works better.