khang119966
commited on
Commit
•
371193b
1
Parent(s):
0647b6b
Update README.md
Browse files
README.md
CHANGED
@@ -51,14 +51,14 @@ The benchmark result in [MTVQA](https://github.com/bytedance/MTVQA/tree/main) fr
|
|
51 |
|
52 |
|
53 |
## Zalo VMLU Benchmark
|
54 |
-
The Vintern-3B-beta achieved a score of **
|
55 |
<div align="center">
|
56 |
<img src="vmlu_score.png" width="700"/>
|
57 |
</div>
|
58 |
|
59 |
```
|
60 |
-
generation_config = dict(max_new_tokens= 64, do_sample=False, num_beams = 1, repetition_penalty=
|
61 |
-
question = "Bạn là trợ lý AI giải trắc nghiệm rất chính xác. Bạn biết chắc chắn đáp án đúng nhất. Chỉ đưa ra chữ cái đứng trước câu trả lời đúng của câu hỏi trắc nghiệm sau:
|
62 |
model.chat(tokenizer, None, question, generation_config)
|
63 |
```
|
64 |
|
@@ -78,7 +78,8 @@ The current results are at a quite good level, and we are expanding the training
|
|
78 |
| ChartQAtest | 76.2 | - | 73.5 | 68.32 |
|
79 |
| TextVQAval | 73.4 | - | 79.7 | 67.09 |
|
80 |
| OCRBench | 781 | 605 | 794 | 619 |
|
81 |
-
| MTVQA |
|
|
|
82 |
| RealWorldQA | 57.3 | 55.8 | 62.9 | 57.9 |
|
83 |
| MMEsum | 1876.8 | 1808.6 | 1872.0 | 1772.9 |
|
84 |
| MMBench-ENtest | 73.2 | 69.1 | 74.9 | 70.62 |
|
|
|
51 |
|
52 |
|
53 |
## Zalo VMLU Benchmark
|
54 |
+
The Vintern-3B-beta achieved a score of **54.81** on the Zalo VMLU Benchmark.
|
55 |
<div align="center">
|
56 |
<img src="vmlu_score.png" width="700"/>
|
57 |
</div>
|
58 |
|
59 |
```
|
60 |
+
generation_config = dict(max_new_tokens= 64, do_sample=False, num_beams = 1, repetition_penalty=1.5)
|
61 |
+
question = "Bạn là trợ lý AI giải trắc nghiệm rất chính xác. Bạn biết chắc chắn đáp án đúng nhất. Chỉ đưa ra chữ cái đứng trước câu trả lời đúng của câu hỏi trắc nghiệm sau: Các cơ quan nào sau đây là cơ quan tư pháp? Lựa Chọn:\nA. Viện kiểm sát nhân dân\nB. Tòa án nhân dân\nC. Chính phủ\nD. Cả A và B\nCâu trả lời đúng nhất là:"
|
62 |
model.chat(tokenizer, None, question, generation_config)
|
63 |
```
|
64 |
|
|
|
78 |
| ChartQAtest | 76.2 | - | 73.5 | 68.32 |
|
79 |
| TextVQAval | 73.4 | - | 79.7 | 67.09 |
|
80 |
| OCRBench | 781 | 605 | 794 | 619 |
|
81 |
+
| MTVQA | 10.9 | 8.8 | 20.0 | 23.58 |
|
82 |
+
| Vi-MTVQA | 9.3 | 8.4 | - | 41.29 |
|
83 |
| RealWorldQA | 57.3 | 55.8 | 62.9 | 57.9 |
|
84 |
| MMEsum | 1876.8 | 1808.6 | 1872.0 | 1772.9 |
|
85 |
| MMBench-ENtest | 73.2 | 69.1 | 74.9 | 70.62 |
|