|
--- |
|
license: llama3 |
|
language: |
|
- en |
|
- ko |
|
library_name: transformers |
|
--- |
|
``` |
|
pip install --upgrade accelerate fbgemm-gpu torch |
|
``` |
|
|
|
```python |
|
from transformers import AutoTokenizer, AutoModelForCausalLM |
|
|
|
model_id="PerRing/llama-3-Korean-Bllossom-8B-fp8" |
|
tokenizer = AutoTokenizer.from_pretrained(model_id) |
|
model = AutoModelForCausalLM.from_pretrained(model_id,device_map='auto') |
|
``` |
|
|
|
```python |
|
PROMPT = '''You are a helpful AI assistant. Please answer the user's questions kindly. λΉμ μ μ λ₯ν AI μ΄μμ€ν΄νΈ μ
λλ€. μ¬μ©μμ μ§λ¬Έμ λν΄ μΉμ νκ² λ΅λ³ν΄μ£ΌμΈμ.''' |
|
instruction = "μμΈμ μ λͺ
ν κ΄κ΄ μ½μ€λ₯Ό λ§λ€μ΄μ€λ?" |
|
|
|
messages = [ |
|
{"role": "system", "content": f"{PROMPT}"}, |
|
{"role": "user", "content": f"{instruction}"} |
|
] |
|
|
|
input_ids = tokenizer.apply_chat_template( |
|
messages, |
|
add_generation_prompt=True, |
|
return_tensors="pt" |
|
).to(model.device) |
|
|
|
terminators = [ |
|
tokenizer.convert_tokens_to_ids("<|end_of_text|>"), |
|
tokenizer.convert_tokens_to_ids("<|eot_id|>") |
|
] |
|
|
|
outputs = model.generate( |
|
input_ids, |
|
max_new_tokens=2048, |
|
eos_token_id=terminators, |
|
do_sample=True, |
|
temperature=0.6, |
|
top_p=0.9 |
|
) |
|
|
|
print(tokenizer.decode(outputs[0][input_ids.shape[-1]:])) |
|
``` |
|
|
|
``` |
|
λ¬Όλ‘ μ
λλ€! μμΈμ λ€μν λ¬Ένμ μμ¬, κ·Έλ¦¬κ³ νλμ μΈ λ§€λ ₯μ κ²ΈλΉν λμλ‘, λ§μ κ΄κ΄ λͺ
μλ₯Ό μλν©λλ€. μλλ μμΈμ μ λͺ
ν κ΄κ΄ μ½μ€μ
λλ€: |
|
|
|
### μ½μ€ 1: μμ¬μ λ¬Ένμ 거리 |
|
|
|
1. **경볡κΆ** |
|
- μμΈμ λνμ μΈ κΆκΆλ‘, μ‘°μ μμ‘°μ μ€μ¬μ§μμ΅λλ€. κ²½λ³΅κΆ λ΄μλ μκΆ, μ μ, κ·Έλ¦¬κ³ λ€μν μ μκ° μμ΅λλ€. |
|
|
|
2. **λΆμ΄ νμ₯λ§μ** |
|
- μ ν΅ νμ₯μ΄ μ 보쑴λ λ§μλ‘, μμΈμ μ ν΅μ μΈ μνμμ 체νν μ μμ΅λλ€. μ ν΅ νμ₯μ λ°©λ¬Ένμ¬ νμ₯μ ꡬ쑰μ μν λ°©μμ λ°°μΈ μ μμ΅λλ€. |
|
|
|
3. **μΈμ¬λ** |
|
- μ ν΅ λ¬Ένμ νλ μμ μ΄ μ‘°νλ₯Ό μ΄λ£¨λ 거리μ
λλ€. μ ν΅ μ곡μν κ°κ², λ―Έμ κ΄, κ·Έλ¦¬κ³ μ ν΅ μμμ μ΄ λ§μ΅λλ€. |
|
|
|
4. **λΆκ΅μ¬** |
|
- κ²½λ³΅κΆ μΈκ·Όμ μμΉν λΆκ΅μ¬μλ λΆκ΅ κ΄λ ¨ μ μμ ν¨κ» λΆκ΅ κΈ°λ
νμ ꡬμ
ν μ μλ κ³³μ΄ μμ΅λλ€. |
|
|
|
### μ½μ€ 2: νλμ μμ°μ μ‘°ν |
|
|
|
1. **λ¨μ° μμΈνμ** |
|
- λ¨μ° μ μμ μμΉν μμΈνμμμ μμΈμ μ κ²½μ κ°μν μ μμ΅λλ€. νμ λ΄μλ μ λ§λμ μλΉ, κ·Έλ¦¬κ³ λ€μν μ μκ° μμ΅λλ€. |
|
|
|
2. **λ¨μ° νλ§λ‘** |
|
- λ¨μ° μ μκΉμ§ μ€λ₯΄κΈ° μ μ λ¨μ° νλ§λ‘λ₯Ό κ±ΈμΌλ©° μμΈμ μλ¦λ€μ΄ κ²½μΉλ₯Ό μ¦κΈΈ μ μμ΅λλ€. |
|
|
|
3. **νκ°κ³΅μ** |
|
- μμΈμ μ€μ¬μ μμΉν νκ°κ³΅μμμλ λ³΄νΈ νκΈ°, μμ κ±° νκΈ°, κ·Έλ¦¬κ³ μ°μ±
μ μ¦κΈΈ μ μμ΅λλ€. λν, λ€μν 곡μ°κ³Ό νμ¬κ° μ΄λ¦½λλ€. |
|
|
|
4. **λλλ¬Έ λμμΈ νλΌμ (DDP)** |
|
- νλμ μΈ κ±΄μΆλ¬Όλ‘ μ λͺ
ν DDPλ μ μμ μΌνμ μ¦κΈΈ μ μλ κ³³μ
λλ€. λ€μν λμμ΄λμ λΈλλμ μ νμ 체νν μ μμ΅λλ€. |
|
|
|
### μ½μ€ 3: μΌνκ³Ό μν°ν
μΈλ¨ΌνΈ |
|
|
|
1. **λͺ
λ** |
|
- μμΈμ λνμ μΈ μΌν 거리λ‘, λ€μν λΈλλμ μ ν΅ κ°κ²κ° λͺ¨μ¬ μμ΅λλ€. λͺ
λμλ λ€μν μμμ κ³Ό μΉ΄νλ μμ΅λλ€. |
|
|
|
2. **μ¬μλ** |
|
- κ΅μ μ μΈ κΈ°μ
κ³Ό μ λΆ κΈ°κ΄μ΄ λͺ¨μ¬ μλ μ¬μλλ λν μΌνκ³Ό λ μ€ν λμ΄ νλΆν©λλ€. μ¬μλ 곡μλ λ°©λ¬Έν΄ λ³΄μΈμ. |
|
|
|
3. **νλ** |
|
- μ μμ κ±°λ¦¬λ‘ μ λͺ
ν νλλ λ€μν ν΄λ½κ³Ό μΉ΄ν, κ·Έλ¦¬κ³ μ ν΅ μμμ μ΄ μμ΅λλ€. λ°€μ νκΈ°κ° λμΉλ κ³³μ
λλ€. |
|
|
|
4. **μ΄νμ** |
|
- λ€μν μΈκ΅μΈλ€μ΄ λͺ¨μ΄λ μ΄νμμ μΈκ΅ μμκ³Ό μ»€νΌ κ°κ²κ° λ§μ΅λλ€. λν, λ€μν μν κ°κ²μ μ ν΅ κ°κ²λ μμ΅λλ€. |
|
|
|
μ΄ μ½μ€λ μμΈμ λ€μν λ©΄λͺ¨λ₯Ό 체νν μ μλ κΈΈμ‘μ΄μ
λλ€. κ° μ½μ€λ§λ€ μμΈμ μμ¬, λ¬Έν, μμ°, μΌν, κ·Έλ¦¬κ³ μν°ν
μΈλ¨ΌνΈλ₯Ό μ¦κΈΈ μ μμ΅λλ€. μμΈμ λ°©λ¬Ένμλ©΄ κΌ μ²΄νν΄ λ³΄μΈμ!<|eot_id|> |
|
``` |