FinancialSupport commited on
Commit
041cf3f
1 Parent(s): dcf3ff1

Update app.py

Browse files
Files changed (1) hide show
  1. app.py +7 -5
app.py CHANGED
@@ -32,20 +32,22 @@ with gr.Blocks() as demo:
32
  I modelli sottostanti sono stati testati con [lm_evaluation_harness](https://github.com/EleutherAI/lm-evaluation-harness) su task specifici per l'italiano introdotti con questa [PR](https://github.com/EleutherAI/lm-evaluation-harness/pull/1358).
33
  L'intero progetto, i modelli e i dataset sono rigorosamente open source e tutti i risultati sono riproducibili lanciando dei comandi come questo:
34
  ```
35
- lm_eval --model hf --model_args pretrained=HUGGINGFACE_MODEL_ID --tasks xcopa_it,hellaswag_it,lambada_openai_mt_it,belebele_ita_Latn,arc_it --device cuda:0 --batch_size 8
 
36
  ```
37
  ''')
38
  gr.DataFrame(get_data_classifica, every=3600)
39
  gr.Markdown(f"Contributore principale: @giux78")
40
  gr.Markdown('''
41
- ### Reference on Italian task from mixtral paper
42
 
43
  | Model | Arc-c | HellaS | MMUL | AVG |
44
  | --- | --- | --- | --- | --- |
45
- | Mixtral 7x8 | 52.8 | 75.1 | 70.9 | 66.26666667 |
 
46
  | LLama2 70b | 49.4 | 70.9 | 65.1 | 61.8 |
47
- | LLama1 34B | 42.9 | 65.4 | 49.0 | 52.43333333 |
48
- | Mistral 7B | 41.49 | 61.22 | 52.53 | 51.74 |
49
  ''')
50
 
51
 
 
32
  I modelli sottostanti sono stati testati con [lm_evaluation_harness](https://github.com/EleutherAI/lm-evaluation-harness) su task specifici per l'italiano introdotti con questa [PR](https://github.com/EleutherAI/lm-evaluation-harness/pull/1358).
33
  L'intero progetto, i modelli e i dataset sono rigorosamente open source e tutti i risultati sono riproducibili lanciando dei comandi come questo:
34
  ```
35
+ lm_eval --model hf --model_args pretrained=HUGGINGFACE_MODEL_ID --tasks hellaswag_it,arc_it --device cuda:0 --batch_size auto:2
36
+ lm_eval --model hf --model_args pretrained=HUGGINGFACE_MODEL_ID --tasks m_mmlu_it --num_fewshot 5 --device cuda:0 --batch_size auto:2
37
  ```
38
  ''')
39
  gr.DataFrame(get_data_classifica, every=3600)
40
  gr.Markdown(f"Contributore principale: @giux78")
41
  gr.Markdown('''
42
+ ### Risultati su modelli "internazionali"
43
 
44
  | Model | Arc-c | HellaS | MMUL | AVG |
45
  | --- | --- | --- | --- | --- |
46
+ | Mixtral 8x22b | 55.3 | 77.1 | 75.8 | 69.4 |
47
+ | Mixtral 8x7b | 51.1 | 72.9 | 65.9 | 63.3 |
48
  | LLama2 70b | 49.4 | 70.9 | 65.1 | 61.8 |
49
+ | LLama1 34b | 42.9 | 65.4 | 49.0 | 52.4 |
50
+ | Mistral 7b | 41.49 | 61.22 | 52.53 | 51.7 |
51
  ''')
52
 
53