Edit model card

How to use:

from transformers import pipeline

pipe = pipeline(
    task="text-generation",
    model="dolphin-2.9-llama3-8b-flashback",
    device_map="auto"
)

text = "Vad är meningen med livet?"

prompt = f"""
<|im_start|>system
Du är en smart AI assistant som svarar på frågor.<|im_end|>
<|im_start|>user
{text}<|im_end|>
<|im_start|>assistant
"""

pipe(prompt, max_length=512, do_sample=False)
>>> "Meningen med livet är subjektiv och varierar från person till person.
Vissa ser det som att uppnå sina mål,
medan andra fokuserar på att hjälpa andra och göra världen ett bättre ställe.
Det är viktigt att hitta en mening som passar just dig och ditt liv"

config.yaml

models:
  - model: timpal0l/Llama-3-8B-flashback-v1
    # No parameters necessary for base model
  - model: cognitivecomputations/dolphin-2.9-llama3-8b
    parameters:
      density: 0.53
      weight: 0.6
merge_method: dare_ties
base_model: timpal0l/Llama-3-8B-flashback-v1
parameters:
  int8_mask: true
dtype: bfloat16
Downloads last month
15
Safetensors
Model size
8.03B params
Tensor type
BF16
·
Inference Examples
This model does not have enough activity to be deployed to Inference API (serverless) yet. Increase its social visibility and check back later, or deploy to Inference Endpoints (dedicated) instead.

Model tree for timpal0l/dolphin-2.9-llama3-8b-flashback