khang119966 commited on
Commit
371193b
1 Parent(s): 0647b6b

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +5 -4
README.md CHANGED
@@ -51,14 +51,14 @@ The benchmark result in [MTVQA](https://github.com/bytedance/MTVQA/tree/main) fr
51
 
52
 
53
  ## Zalo VMLU Benchmark
54
- The Vintern-3B-beta achieved a score of **53.13** on the Zalo VMLU Benchmark.
55
  <div align="center">
56
  <img src="vmlu_score.png" width="700"/>
57
  </div>
58
 
59
  ```
60
- generation_config = dict(max_new_tokens= 64, do_sample=False, num_beams = 1, repetition_penalty=3.5)
61
- question = "Bạn là trợ lý AI giải trắc nghiệm rất chính xác. Bạn biết chắc chắn đáp án đúng nhất. Chỉ đưa ra chữ cái đứng trước câu trả lời đúng của câu hỏi trắc nghiệm sau: Một doanh nghiệp vốn đầu nước ngoài trụ sở chính ở Việt Nam, thì: Lựa Chọn: A. Được ĐKDN HĐKD theo pháp luật Việt Nam B. Được ĐKDN HĐKD theo pháp luật nước ngoài C. Được ĐKDN và HĐKD theo pháp luật Việt Nam và pháp luật nước ngoài tùy theo từng vấn đề cụ thể D. Cả A, B C đều sai"
62
  model.chat(tokenizer, None, question, generation_config)
63
  ```
64
 
@@ -78,7 +78,8 @@ The current results are at a quite good level, and we are expanding the training
78
  | ChartQAtest | 76.2 | - | 73.5 | 68.32 |
79
  | TextVQAval | 73.4 | - | 79.7 | 67.09 |
80
  | OCRBench | 781 | 605 | 794 | 619 |
81
- | MTVQA | - | - | 20.0 | 23.58 |
 
82
  | RealWorldQA | 57.3 | 55.8 | 62.9 | 57.9 |
83
  | MMEsum | 1876.8 | 1808.6 | 1872.0 | 1772.9 |
84
  | MMBench-ENtest | 73.2 | 69.1 | 74.9 | 70.62 |
 
51
 
52
 
53
  ## Zalo VMLU Benchmark
54
+ The Vintern-3B-beta achieved a score of **54.81** on the Zalo VMLU Benchmark.
55
  <div align="center">
56
  <img src="vmlu_score.png" width="700"/>
57
  </div>
58
 
59
  ```
60
+ generation_config = dict(max_new_tokens= 64, do_sample=False, num_beams = 1, repetition_penalty=1.5)
61
+ question = "Bạn là trợ lý AI giải trắc nghiệm rất chính xác. Bạn biết chắc chắn đáp án đúng nhất. Chỉ đưa ra chữ cái đứng trước câu trả lời đúng của câu hỏi trắc nghiệm sau: Các quan nào sau đây quan pháp? Lựa Chọn:\nA. Viện kiểm sát nhân dân\nB. Tòa án nhân dân\nC. Chính phủ\nD. Cả A B\nCâu trả lời đúng nhất là:"
62
  model.chat(tokenizer, None, question, generation_config)
63
  ```
64
 
 
78
  | ChartQAtest | 76.2 | - | 73.5 | 68.32 |
79
  | TextVQAval | 73.4 | - | 79.7 | 67.09 |
80
  | OCRBench | 781 | 605 | 794 | 619 |
81
+ | MTVQA | 10.9 | 8.8 | 20.0 | 23.58 |
82
+ | Vi-MTVQA | 9.3 | 8.4 | - | 41.29 |
83
  | RealWorldQA | 57.3 | 55.8 | 62.9 | 57.9 |
84
  | MMEsum | 1876.8 | 1808.6 | 1872.0 | 1772.9 |
85
  | MMBench-ENtest | 73.2 | 69.1 | 74.9 | 70.62 |