File size: 4,123 Bytes
e5f9fb0 88c5b11 1a7cd95 88c5b11 09b9df3 1a7cd95 0257105 88c5b11 1a7cd95 88c5b11 1a7cd95 88c5b11 1a7cd95 88c5b11 1a7cd95 88c5b11 5061081 88c5b11 1a7cd95 88c5b11 5061081 88c5b11 1a7cd95 88c5b11 1a7cd95 88c5b11 1a7cd95 88c5b11 1a7cd95 88c5b11 1a7cd95 88c5b11 1a7cd95 88c5b11 1a7cd95 88c5b11 1a7cd95 88c5b11 1a7cd95 88c5b11 1a7cd95 88c5b11 1a7cd95 88c5b11 1a7cd95 88c5b11 1a7cd95 88c5b11 1a7cd95 88c5b11 1a7cd95 88c5b11 1a7cd95 88c5b11 1a7cd95 88c5b11 |
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 |
---
license: llama3
language:
- en
- ko
library_name: transformers
---
```
pip install --upgrade accelerate fbgemm-gpu torch
```
```python
from transformers import AutoTokenizer, AutoModelForCausalLM
model_id="PerRing/llama-3-Korean-Bllossom-8B-fp8"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id,device_map='auto')
```
```python
PROMPT = '''You are a helpful AI assistant. Please answer the user's questions kindly. λΉμ μ μ λ₯ν AI μ΄μμ€ν΄νΈ μ
λλ€. μ¬μ©μμ μ§λ¬Έμ λν΄ μΉμ νκ² λ΅λ³ν΄μ£ΌμΈμ.'''
instruction = "μμΈμ μ λͺ
ν κ΄κ΄ μ½μ€λ₯Ό λ§λ€μ΄μ€λ?"
messages = [
{"role": "system", "content": f"{PROMPT}"},
{"role": "user", "content": f"{instruction}"}
]
input_ids = tokenizer.apply_chat_template(
messages,
add_generation_prompt=True,
return_tensors="pt"
).to(model.device)
terminators = [
tokenizer.convert_tokens_to_ids("<|end_of_text|>"),
tokenizer.convert_tokens_to_ids("<|eot_id|>")
]
outputs = model.generate(
input_ids,
max_new_tokens=2048,
eos_token_id=terminators,
do_sample=True,
temperature=0.6,
top_p=0.9
)
print(tokenizer.decode(outputs[0][input_ids.shape[-1]:]))
```
```
λ¬Όλ‘ μ
λλ€! μμΈμ λ€μν λ¬Ένμ μμ¬, κ·Έλ¦¬κ³ νλμ μΈ λ§€λ ₯μ κ²ΈλΉν λμλ‘, λ§μ κ΄κ΄ λͺ
μλ₯Ό μλν©λλ€. μλλ μμΈμ μ λͺ
ν κ΄κ΄ μ½μ€μ
λλ€:
### μ½μ€ 1: μμ¬μ λ¬Ένμ 거리
1. **경볡κΆ**
- μμΈμ λνμ μΈ κΆκΆλ‘, μ‘°μ μμ‘°μ μ€μ¬μ§μμ΅λλ€. κ²½λ³΅κΆ λ΄μλ μκΆ, μ μ, κ·Έλ¦¬κ³ λ€μν μ μκ° μμ΅λλ€.
2. **λΆμ΄ νμ₯λ§μ**
- μ ν΅ νμ₯μ΄ μ 보쑴λ λ§μλ‘, μμΈμ μ ν΅μ μΈ μνμμ 체νν μ μμ΅λλ€. μ ν΅ νμ₯μ λ°©λ¬Ένμ¬ νμ₯μ ꡬ쑰μ μν λ°©μμ λ°°μΈ μ μμ΅λλ€.
3. **μΈμ¬λ**
- μ ν΅ λ¬Ένμ νλ μμ μ΄ μ‘°νλ₯Ό μ΄λ£¨λ 거리μ
λλ€. μ ν΅ μ곡μν κ°κ², λ―Έμ κ΄, κ·Έλ¦¬κ³ μ ν΅ μμμ μ΄ λ§μ΅λλ€.
4. **λΆκ΅μ¬**
- κ²½λ³΅κΆ μΈκ·Όμ μμΉν λΆκ΅μ¬μλ λΆκ΅ κ΄λ ¨ μ μμ ν¨κ» λΆκ΅ κΈ°λ
νμ ꡬμ
ν μ μλ κ³³μ΄ μμ΅λλ€.
### μ½μ€ 2: νλμ μμ°μ μ‘°ν
1. **λ¨μ° μμΈνμ**
- λ¨μ° μ μμ μμΉν μμΈνμμμ μμΈμ μ κ²½μ κ°μν μ μμ΅λλ€. νμ λ΄μλ μ λ§λμ μλΉ, κ·Έλ¦¬κ³ λ€μν μ μκ° μμ΅λλ€.
2. **λ¨μ° νλ§λ‘**
- λ¨μ° μ μκΉμ§ μ€λ₯΄κΈ° μ μ λ¨μ° νλ§λ‘λ₯Ό κ±ΈμΌλ©° μμΈμ μλ¦λ€μ΄ κ²½μΉλ₯Ό μ¦κΈΈ μ μμ΅λλ€.
3. **νκ°κ³΅μ**
- μμΈμ μ€μ¬μ μμΉν νκ°κ³΅μμμλ λ³΄νΈ νκΈ°, μμ κ±° νκΈ°, κ·Έλ¦¬κ³ μ°μ±
μ μ¦κΈΈ μ μμ΅λλ€. λν, λ€μν 곡μ°κ³Ό νμ¬κ° μ΄λ¦½λλ€.
4. **λλλ¬Έ λμμΈ νλΌμ (DDP)**
- νλμ μΈ κ±΄μΆλ¬Όλ‘ μ λͺ
ν DDPλ μ μμ μΌνμ μ¦κΈΈ μ μλ κ³³μ
λλ€. λ€μν λμμ΄λμ λΈλλμ μ νμ 체νν μ μμ΅λλ€.
### μ½μ€ 3: μΌνκ³Ό μν°ν
μΈλ¨ΌνΈ
1. **λͺ
λ**
- μμΈμ λνμ μΈ μΌν 거리λ‘, λ€μν λΈλλμ μ ν΅ κ°κ²κ° λͺ¨μ¬ μμ΅λλ€. λͺ
λμλ λ€μν μμμ κ³Ό μΉ΄νλ μμ΅λλ€.
2. **μ¬μλ**
- κ΅μ μ μΈ κΈ°μ
κ³Ό μ λΆ κΈ°κ΄μ΄ λͺ¨μ¬ μλ μ¬μλλ λν μΌνκ³Ό λ μ€ν λμ΄ νλΆν©λλ€. μ¬μλ 곡μλ λ°©λ¬Έν΄ λ³΄μΈμ.
3. **νλ**
- μ μμ κ±°λ¦¬λ‘ μ λͺ
ν νλλ λ€μν ν΄λ½κ³Ό μΉ΄ν, κ·Έλ¦¬κ³ μ ν΅ μμμ μ΄ μμ΅λλ€. λ°€μ νκΈ°κ° λμΉλ κ³³μ
λλ€.
4. **μ΄νμ**
- λ€μν μΈκ΅μΈλ€μ΄ λͺ¨μ΄λ μ΄νμμ μΈκ΅ μμκ³Ό μ»€νΌ κ°κ²κ° λ§μ΅λλ€. λν, λ€μν μν κ°κ²μ μ ν΅ κ°κ²λ μμ΅λλ€.
μ΄ μ½μ€λ μμΈμ λ€μν λ©΄λͺ¨λ₯Ό 체νν μ μλ κΈΈμ‘μ΄μ
λλ€. κ° μ½μ€λ§λ€ μμΈμ μμ¬, λ¬Έν, μμ°, μΌν, κ·Έλ¦¬κ³ μν°ν
μΈλ¨ΌνΈλ₯Ό μ¦κΈΈ μ μμ΅λλ€. μμΈμ λ°©λ¬Ένμλ©΄ κΌ μ²΄νν΄ λ³΄μΈμ!<|eot_id|>
``` |