μλ‘νλ λ¨μΉ μ±λ΄(empathy-boyfriend-chatbot)
Polyglot-ko-5.8B λͺ¨λΈμ κΈ°λ°μΌλ‘ AIνλΈμ 곡κ°λ μ°μΈλ€μ¬μ΄μ 곡κ°λνλ‘ QLoRA νμΈνλν sLLM μ±λ΄ λͺ¨λΈ
λ°°κ²½
κ·Ή T μ±ν₯μ΄ κ°ν κ°λ°μμΈ μ λ 곡κ°λ₯λ ₯μ΄ μμ£Ό λ§μ΄ λΆμ‘±ν©λλ€.
κ·Έλ κ² κ°μ μ΄ λ§€λ§λΌκ°λ λμ€ [κ³΅κ° λ°μ΄ν° μ
]μ λ°κ²¬νκ² λμ΄
곡κ°λ₯λ ₯μ νμ΅ν μ±λ΄μκ² μ‘°κΈμ΄λλ§ λμ λ°μ λ―Έλμ μ¬μΉμκ² λμμ΄ λ κΉ μ μνκ² λμμ΅λλ€.
*κ·Έλ₯ μ¬λ°μ΄λ³΄μ¬μ μ μνμ΅λλ€.
λ°μ΄ν° μ
- μΆμ² : AIνλΈ κ³΅κ°ν λν
- νμ© λ°μ΄ν°: μ°μΈ
*λΆλΆ, μΉκ΅¬, μ°μΈ λ± λ§μ μν©μ λ°μ΄ν°κ° μ‘΄μ¬νμ§λ§ μ°μΈμ λ°μ΄ν°λ§ μ¬μ©νμμ΅λλ€.
λ°μ΄ν° μ μ²λ¦¬
- μν©λ°μ΄ν° μ μΈ
- κ°μ λ°μ΄ν° μ μΈ
- λνλ°μ΄ν°λ§ μμ§
- λ°μ΄ν° νλ μ νμμΌλ‘ λ³ν
- νμ΅λ°μ΄ν° νμμΌλ‘ λ³ν
μ μ²λ¦¬ λ°μ΄ν° μν
role | text |
---|---|
speaker | μ΄μ λ¦κ² μ€λλ λΉλͺ½μ¬λͺ½μΈ μ±λ‘ μΆκ·Όνμ΄. μΆκ·ΌκΈΈμ μλ±ν λ²μ€λ₯Ό νμ μ§κ°ν λ»ν κ±° μμ§? μ λ§ κ²½ν©μ΄ μλλΌκ³ . |
listener | λλ λ§μμ λ€κΈνμ¬ μ΄μ°ν λ°λ₯Ό λͺ°λκ² λ€. μ§κ°ν κ±°λΌλ μκ°μ λ§μ μ‘Έμ΄κΈ°λ νκ² μ΄. λ§μκ³ μνμ μκΈ°λ₯Ό μκ°νλ λ΄κ° λ€ μμνλ€. |
speaker | λ§€μΌ μΆκ·Όνλ μΌμμ΄ λκ°μλ° λ²μ€λ₯Ό μ λͺ» νλ 건 μ²μ κ²ͺμμ΄. κ·Έλμ λ κ³€λν΄μ λμ΄ μμ§μμ§ λλλΌκ³ . |
listener | μμλ§ ν΄λ μ§μ§ νλ€μκ² λ€. μ λͺ» νλ€λ κ±Έ μλ μκ° μΌλ§λ μ΄μ²κ΅¬λκ° μμκ² μ΄. κ²λ€κ° μΆκ·ΌκΈΈμ΄λΌ λ λ§μμ΄ μ‘°κΈνμ κ² κ°μ. |
speaker | μ¬μ λ‘κ² λμ€κΈ΄ νμ§λ§ νΉμλ μ§κ°ν κΉλ΄ μ΄μ°λ λΉν©νλμ§. μ§μ§ μ리λ₯Ό μ§λ₯Ό λ»ν μ λμμ΄. |
listener | λ§€μΌ μΆκ·Ό μκ°λ³΄λ€ ν¨μ¬ μ΄μ μ λμ€λ κ²λ μ λ§ νλ€μμ. λκ΅°λ€λ λ²μ€λ₯Ό μλͺ» νμΌλ©΄ λ¦μ μλ μμμΌλ κ·Έ μκ° λ§μκ³ μμ΄ μ¬νκ² λ€. |
νμ΅ λ°μ΄ν° μν
μ¬μΉ: μ΄μ λ¦κ² μ€λλ λΉλͺ½μ¬λͺ½μΈ μ±λ‘ μΆκ·Όνμ΄. μΆκ·ΌκΈΈμ μλ±ν λ²μ€λ₯Ό νμ μ§κ°ν λ»ν κ±° μμ§? μ λ§ κ²½ν©μ΄ μλλΌκ³ .
λ¨μΉ: λλ λ§μμ λ€κΈνμ¬ μ΄μ°ν λ°λ₯Ό λͺ°λκ² λ€. μ§κ°ν κ±°λΌλ μκ°μ λ§μ μ‘Έμ΄κΈ°λ νκ² μ΄. λ§μκ³ μνμ μκΈ°λ₯Ό μκ°νλ λ΄κ° λ€ μμνλ€.</λ>
μ¬μΉ: λ§€μΌ μΆκ·Όνλ μΌμμ΄ λκ°μλ° λ²μ€λ₯Ό μ λͺ» νλ 건 μ²μ κ²ͺμμ΄. κ·Έλμ λ κ³€λν΄μ λμ΄ μμ§μμ§ λλλΌκ³ .
λ¨μΉ: μμλ§ ν΄λ μ§μ§ νλ€μκ² λ€. μ λͺ» νλ€λ κ±Έ μλ μκ° μΌλ§λ μ΄μ²κ΅¬λκ° μμκ² μ΄. κ²λ€κ° μΆκ·ΌκΈΈμ΄λΌ λ λ§μμ΄ μ‘°κΈνμ κ² κ°μ.</λ>
μ¬μΉ: μ¬μ λ‘κ² λμ€κΈ΄ νμ§λ§ νΉμλ μ§κ°ν κΉλ΄ μ΄μ°λ λΉν©νλμ§. μ§μ§ μ리λ₯Ό μ§λ₯Ό λ»ν μ λμμ΄.
λ¨μΉ: λ§€μΌ μΆκ·Ό μκ°λ³΄λ€ ν¨μ¬ μ΄μ μ λμ€λ κ²λ μ λ§ νλ€μμ. λκ΅°λ€λ λ²μ€λ₯Ό μλͺ» νμΌλ©΄ λ¦μ μλ μμμΌλ κ·Έ μκ° λ§μκ³ μμ΄ μ¬νκ² λ€.</λ>
νμ΅
Base on Model
- κΈ°λ° λͺ¨λΈ : EleutherAI/polyglot-ko-5.8b
import torch
from transformers import AutoTokenizer, AutoModelForCausalLM, BitsAndBytesConfig
from peft import PeftModel
model_id = "EleutherAI/polyglot-ko-5.8b"
bnb_config = BitsAndBytesConfig(
load_in_4bit=True,
bnb_4bit_use_double_quant=True,
bnb_4bit_quant_type="nf4",
bnb_4bit_compute_dtype=torch.bfloat16
)
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id, quantization_config=bnb_config, device_map={"":0})
νμ΅ λ°©λ²
μ½λ©μμ νμ΅ : Colab
*λ°μ΄ν° μ μ AI νλΈμ μμ κΆμ΄ μμμΌλ‘ Private μ λλ€.Epoch: 16
learning-rate: 3e-4
batch_size: 1
Lora r: 8
Lora target modules: query_key_value
μ¬μ© λ°©λ²
μ½λ©μμ μ€ν : Colab
WebDemo μ€ν
run.sh
μꡬ μ¬ν
- 8GB μ΄μ VRAM
Thanks to
jwj7140 λμ μ μ₯μ λμμ λ§μ΄(λλΆλΆ) λ°μμ΅λλ€.
- Downloads last month
- 18
This model does not have enough activity to be deployed to Inference API (serverless) yet. Increase its social
visibility and check back later, or deploy to Inference Endpoints (dedicated)
instead.