Usage for VLLM

from vllm import LLM, SamplingParams
from transformers import AutoTokenizer, pipeline

BASE_MODEL = "sh2orc/gemma-1.1-korean-7b-it"

llm = LLM(model=BASE_MODEL)

tokenizer = AutoTokenizer.from_pretrained(BASE_MODEL)
tokenizer.pad_token = tokenizer.eos_token
tokenizer.padding_side = 'right'

instruction = '독도에 대해서 알려줘'

messages = [
    {
      "role": "user",
      "content": instruction
    }, 
]


prompt_message = tokenizer.apply_chat_template(
        messages, 
        tokenize=False, 
        add_generation_prompt=True,
)

eos_token_id = [tokenizer.eos_token_id, tokenizer.convert_tokens_to_ids("<end_of_turn>")]

outputs = llm.generate(prompt_message, SamplingParams(stop_token_ids=eos_token_id, temperature=0.2, top_p=0.8,max_tokens=4096))

for output in outputs:
    propt = output.prompt
    generated_text = output.outputs[0].text
    print(generated_text)

Result

독도는 동해에 위치한 대한민국의 특별자치도로, 면적은 5.8km이며, 행정구역은 독도군입니다. 독도의 면적은 대략 5.8km이며, 인구는 약 10명입니다. 독도는 한국과 일본의 국경을 형성하고 있으며, 독도의 주민들은 일본의 영향을 많이 받았습니다. 독도의 경제는 관광과 소규모의 어업이 주를 이루며, 독도는 1949년부터 1954년까지 일본에 의해 점령되었습니다. 독도는 1954년 인천 강화 조약으로 인해 우리나라의 영토가 되었습니다.