**Vicuna Benchmark**Chiang et al. (2023) developed a series of open-source chatbots trained by fine-tuning LLaMA Touvron et al. (2023) on user-shared converstaions collected from shareGPT1. They curated an evaluation set consisting of 80 diverse questions, segmented into eight categories with ten questions each. We translate the Vicuna benchmark into Chinese and Korean using GPT-4 OpenAI (2023) to test the generation ability. We also evaluate whether the generated text is in the desired language using Lingua2, a language detection package. When GPT-4 evaluation, we use different language evaluation prompts for different language models3.
**Vicuna Benchmark**Chiang et al. (2023)은 사용자가 공유한 대화를 shareGPT1에서 수집하여 LLaMA Touvron et al. (2023)을 Fine-tuning하여 학습한 일련의 오픈 소스 챗봇을 개발했습니다. 이들은 80개의 다양한 질문으로 구성된 평가 세트를 큐레이션하여 각각 10개의 질문으로 구성된 8개의 카테고리로 세분화했습니다. 이들은 생성 능력을 테스트하기 위해 GPT-4 OpenAI(2023)를 사용하여 Vicuna 벤치마크를 중국어와 한국어로 번역했습니다. 또한 언어 감지 패키지인 Lingua2를 사용하여 생성된 텍스트가 원하는 언어인지 여부도 평가합니다. GPT-4 평가 시, 언어 모델마다 다른 언어 평가 프롬프트를 사용합니다.
**비쿠나 벤치마크**Chiang et al. (2023)은 사용자가 공유한 대화를 GPT1에서 수집하여 LLaMA Touvron et al. (2023)을 미세 조정하여 학습한 일련의 오픈 소스 챗봇을 개발했습니다. 이들은 80개의 다양한 질문으로 구성된 평가 세트를 큐레이션하여 각각 10개의 질문으로 구성된 8개의 카테고리로 세분화했습니다. 이들은 생성 능력을 테스트하기 위해 GPT-4 OpenAI(2023)를 사용하여 Vicuna 벤치마크를 중국어와 한국어로 번역했습니다. 또한 언어 감지 패키지인 Lingua2를 사용하여 생성된 텍스트가 원하는 언어인지 여부도 평가합니다. GPT-4 평가 시, 언어 모델마다 다른 언어 평가 프롬프트를 사용합니다3.