metadata
language:
- ko
metrics:
- accuracy
pipeline_tag: text-classification
model-index:
- name: ko-answerable
results:
- task:
type: text-classification
name: text-classification
metrics:
- type: eval_accuracy
value: 0.892
name: eval_accuracy
verified: false
- type: test_accuracy
value: 0.837
name: test_accuracy
verified: false
ko-answerable: Passage์ Question์ด ๋ต๋ณ์ ํ ์ ์๋๊ฐ?์ 2์ง ๋ถ๋ฅ
Model Details
SelfCheckGPT์ Answerable model์ ๊ฐ๋ช ๋ฐ์ ์ ์ํ๊ฒ ๋์์ต๋๋ค. (https://arxiv.org/abs/2303.08896)
monologg/kobigbird-bert-base ๋ชจ๋ธ์ ์ฌ์ฉํ์ฌ BigBirdForSequenceClassification ์ผ๋ก Fine-Tune ๋์์ต๋๋ค
Max Seq Len: 4096
Input Text Style: <BOS>Question<SEP>Title<SEP>Passage<EOS>
Return: 1: ์๋ต ์์, 0: ์๋ต ๊ฐ๋ฅ (sigmoid score ์ฌ์ฉ ๊ฐ๋ฅ)
์ฌ์ฉ๋ ๋ฐ์ดํฐ์ (ํด๋น ๋ฐ์ดํฐ์ ์์ 'is_impossible'์ ๊ธฐ์ค์ผ๋ก 50:50์ผ๋ก ๋๋ค ์ถ์ถ(0,1 ๋น์ค์ด ๋ง๋๋ก))
- KLUE
- AIHub-๋์์๋ฃ ๊ธฐ๊ณ๋ ํด
- AIHub-๋ด์ค ๊ธฐ์ฌ ๊ธฐ๊ณ๋ ํด ๋ฐ์ดํฐ
- AIHub-ํ์ ๋ฌธ์ ๋์ ๊ธฐ๊ณ๋ ํด ๋ฐ์ดํฐ
- ํ๊ธฐ๋ฐ ์ง์์๋ต ๋ฐ์ดํฐ (๋งคํ๋์๊ฒ ๊ฐ์ธ์ ์ผ๋ก ๋ฐ์)
AIHub-๊ธฐ๊ณ๋
ํด
๋ฐ์ดํฐ๋ ์กด์ฌํ๋, ๋ฐ์ดํฐ ์ ์ฒ๋ฆฌํ๊ธฐ ๊ตฌ์กฐ๊ฐ ์ข ๋ณต์กํ๊ฒ ๋ฌ๋ผ์ ์ ์ธํจ.
์์ธก ์๊ฐ: ๊ฑด๋น ํ๊ท 0.05์ด ์ด๋ด (RTX 3090 ์ฌ์ฉ)
์ฌ์ฉ GPU MEM: About 20GB (Seq๊ฐ ๊ธธ๋ฉด ๋ง์ด ๋จน์)