README.md

---
license: mit
datasets:
- maywell/korean_textbooks
- nlpai-lab/kullm-v2
language:
- ko
---
[TinyKo-v5-b](https://huggingface.co/blueapple8259/TinyKo-v5-b)모델을 [kullm-v2](https://huggingface.co/datasets/nlpai-lab/kullm-v2)데이터셋으로 파인튜닝한 모델입니다.

주의: 성능이 매우 떨어지며 할루시네이션이 매우 심합니다.

## 모델 정보

model type: llama

hidden size: 6

hidden size: 127

num attention heads: 16

num key value heads: 4