region:us
# Ko-StrategyQA

이 데이터셋은 [StrategyQA](https://allenai.org/data/strategyqa)의 한국어 버전입니다. 
기존 데이터셋의 모든 질문과 단락들을 [DeepL](https://www.deepl.com/translator)을 사용하여 번역했습니다.

## 데이터셋 설명
이 데이터셋은 [StrategyQA](https://allenai.org/data/strategyqa)의 한국어 버전입니다. 
StrategyQA는 오픈 도메인 질의 응답 태스크 분야에서 multi-hop 질문들만을 모아 놓은 데이터셋입니다. 
오픈 도메인 질의 응답(ODQA)은 특정한 도메인 없이, 일반적인 지식 분야에서 질문에 대한 올바른 응답을 하는 인공지능 모델을 만드는 태스크입니다.
multi-hop 질문들은 한 질문에 답하기 위하여 두 가지 이상의 사실을 두 가지 이상의 단락들에서 알아내야만 하는 질문들입니다. 

이 데이터셋을 활용하여 multi-hop 질문들을 해결하기 위해 복수 개의 단락을 자동으로 단락 뭉치에서 검색하고 찾아낼 수 있는 성능을 측정할 수 있습니다. 
또한, 거대 언어 모델 (LLM) 등의 언어 모델이 multi-hop 질문들에 정답을 말하는지 성능을 측정할 수 있습니다. 
해당 데이터셋은 예/아니오 로만 답할 수 있는 질문들로만 이루어 져 있습니다.
이 데이터셋에서는 질문 분리에 대한 메트릭인 SARI는 아직 측정할 수 없습니다. 

## 평가
이 [레포](https://github.com/edai-club/KoPrivateGPT/tree/main/evaluate/strategyQA)에서 평가 코드를 볼 수 있습니다. 정확도(Accruacy)와 Recall@10을 지원합니다.

## 파일 설명
- ```ko-strategyqa_full.json``` : 질문, 설명, 사용된 단락들, 사용된 사실들, 분해한 질문들이 모두 들어있습니다.
- ```ko-strategyqa_train.json``` : 전체 데이터셋의 train set입니다. **주의** 이 train set은 공식 train set과 차이가 있습니다! Ko-StrategyQA 제작자가 임의로 자른 것이므로 유의해주세요.
- ```ko-strategyqa_dev.json``` : 교차 검증을 위한 전체 데이터셋의 dev set입니다. **주의** 이 dev set은 공식 dev set과 차이가 있습니다! Ko-StrategyQA 제작자가 임의로 자른 것이므로 유의해주세요.
- ```ko-strategyqa_test.json``` : 공식 StrategyQA [리더보드](https://leaderboard.allenai.org/strategyqa/submissions/public) 등재를 위한 test 질문들의 한국어 버전입니다.
- ```ko-strategyqa_paragraphs.csv``` : 모든 단락들입니다.
- ```ko-strategyqa_paragraphs.parquet``` : 모든 단락들의 parquet 파일 버전입니다.

This dataset is Korean version of [StrategyQA](https://allenai.org/data/strategyqa).
We translated all questions and paragraphs to Korean using [DeepL](https://www.deepl.com/translator).

## Overview
This dataset is Korean version of StrategyQA. Strategy QA is multi-hop question datasets for open-domain question answering (ODQA). 
For answering all questions in this dataset, the model must know multiple facts from multiple paragraphs.
You can measure performance of retriever system for multi-hop questions.
All questions answer is Ture or False questions, so you can measure model's performance by accuracy. 
In korean version, you can't measure SARI yet, metrics that measure question decomposition.

## Dataset Files
- ```ko-strategyqa_full.json``` : full questions, descriptions, decomposition, facts, evidence.
- ```ko-strategyqa_train.json``` : train set from full dataset. **Warning!** Our split is not official train set of StrategyQA. Questions may be different with official StrategyQA train dataset.
- ```ko-strategyqa_dev.json``` : dev set from full dataset. **Warning!** Our split is not official dev (validation) set of StrategyQA. Questions may be different with official StrategyQA dev dataset.
- ```ko-strategyqa_test.json``` : test questions from official StrategyQA [leaderboard](https://leaderboard.allenai.org/strategyqa/submissions/public)
- ```ko-strategyqa_paragraphs.csv``` : all paragraphs (contexts) 
- ```ko-strategyqa_paragraphs.parquet``` : all paragraphs (contexts) to parquet file.

## Evaluation
You can evaluate this dataset at this [repo](https://github.com/edai-club/KoPrivateGPT/tree/main/evaluate/strategyQA). We support Recall@10 and Accuracy metrics.

## License
Apache 2.0 license
