Table 1 shows the results of in-house RAI benchmarks for **phi-3-mini-4k** and **phi-3-mini-128k** compared to phi-2 [JBA\({}^{+}\)23], Mistral-7b-v0.1 [JSM\({}^{+}\)23], Gemma 7b [TMH\({}^{+}\)24]. This benchmark utilized GPT-4 to simulate multi-turn conversations in five different categories and to evaluate the model responses. Ungroundedness between 0 (fully grounded) and 4 (not grounded) measures if the information in a response is based on a given prompt. In other categories, responses were evaluated in terms of the severity of harmfulness from 0 (no harm) to 7 (extreme harm) and the defect rates (DR-\(x\)) were computed as the percentage of samples with the severity score being greater than or equal to \(x\).
표 1은 phi-2 [JBA\({}^{+}\)23], Mistral-7b-v0.1 [JSM\({}^{+}\)23], Gemma 7b [TMH\({}^{+}\)24]와 비교한 **phi-3-mini-4k** 및 **phi-3-mini-128k**에 대한 사내 RAI 벤치마크 결과를 보여줍니다. 이 벤치마크에서는 GPT-4를 사용하여 5가지 카테고리에서 다중 턴 대화를 시뮬레이션하고 모델 응답을 평가했습니다. 0(완전 접지)에서 4(접지되지 않음) 사이의 ungroundedness는 응답의 정보가 주어진 prompt에 기반한 것인지 여부를 측정합니다. 다른 범주에서는 0(해가 없음)에서 7(극심한 해악)까지의 해악의 심각도 측면에서 응답을 평가하고, 해당 심각도 점수가 \(x\)보다 크거나 같은 샘플의 비율로 defect rates (DR-\(x\))를 계산했습니다.
표 1은 phi-2 [JBA\({}^{+}\)23], Mistral-7b-v0.1 [JSM\({}^{+}\)23], Gemma 7b [TMH\({}^{+}\)24]와 비교한 **phi-3-mini-4k** 및 **phi-3-mini-128k**에 대한 사내 RAI 벤치마크 결과를 보여줍니다. 이 벤치마크에서는 GPT-4를 사용하여 5가지 카테고리에서 다중 턴 대화를 시뮬레이션하고 모델 응답을 평가했습니다. 0(완전 접지)에서 4(접지되지 않음) 사이의 비접지성은 응답의 정보가 주어진 프롬프트에 기반한 것인지 여부를 측정합니다. 다른 범주에서는 0(해가 없음)에서 7(극심한 해악)까지의 해악의 심각도 측면에서 응답을 평가하고, 해당 심각도 점수가 \(x\)보다 크거나 같은 샘플의 비율로 결함률(DR-\(x\))을 계산했습니다.