Spaces:
Running
on
CPU Upgrade
Running
on
CPU Upgrade
FinancialSupport
commited on
Commit
•
041cf3f
1
Parent(s):
dcf3ff1
Update app.py
Browse files
app.py
CHANGED
@@ -32,20 +32,22 @@ with gr.Blocks() as demo:
|
|
32 |
I modelli sottostanti sono stati testati con [lm_evaluation_harness](https://github.com/EleutherAI/lm-evaluation-harness) su task specifici per l'italiano introdotti con questa [PR](https://github.com/EleutherAI/lm-evaluation-harness/pull/1358).
|
33 |
L'intero progetto, i modelli e i dataset sono rigorosamente open source e tutti i risultati sono riproducibili lanciando dei comandi come questo:
|
34 |
```
|
35 |
-
lm_eval --model hf --model_args pretrained=HUGGINGFACE_MODEL_ID --tasks
|
|
|
36 |
```
|
37 |
''')
|
38 |
gr.DataFrame(get_data_classifica, every=3600)
|
39 |
gr.Markdown(f"Contributore principale: @giux78")
|
40 |
gr.Markdown('''
|
41 |
-
###
|
42 |
|
43 |
| Model | Arc-c | HellaS | MMUL | AVG |
|
44 |
| --- | --- | --- | --- | --- |
|
45 |
-
| Mixtral
|
|
|
46 |
| LLama2 70b | 49.4 | 70.9 | 65.1 | 61.8 |
|
47 |
-
| LLama1
|
48 |
-
| Mistral
|
49 |
''')
|
50 |
|
51 |
|
|
|
32 |
I modelli sottostanti sono stati testati con [lm_evaluation_harness](https://github.com/EleutherAI/lm-evaluation-harness) su task specifici per l'italiano introdotti con questa [PR](https://github.com/EleutherAI/lm-evaluation-harness/pull/1358).
|
33 |
L'intero progetto, i modelli e i dataset sono rigorosamente open source e tutti i risultati sono riproducibili lanciando dei comandi come questo:
|
34 |
```
|
35 |
+
lm_eval --model hf --model_args pretrained=HUGGINGFACE_MODEL_ID --tasks hellaswag_it,arc_it --device cuda:0 --batch_size auto:2
|
36 |
+
lm_eval --model hf --model_args pretrained=HUGGINGFACE_MODEL_ID --tasks m_mmlu_it --num_fewshot 5 --device cuda:0 --batch_size auto:2
|
37 |
```
|
38 |
''')
|
39 |
gr.DataFrame(get_data_classifica, every=3600)
|
40 |
gr.Markdown(f"Contributore principale: @giux78")
|
41 |
gr.Markdown('''
|
42 |
+
### Risultati su modelli "internazionali"
|
43 |
|
44 |
| Model | Arc-c | HellaS | MMUL | AVG |
|
45 |
| --- | --- | --- | --- | --- |
|
46 |
+
| Mixtral 8x22b | 55.3 | 77.1 | 75.8 | 69.4 |
|
47 |
+
| Mixtral 8x7b | 51.1 | 72.9 | 65.9 | 63.3 |
|
48 |
| LLama2 70b | 49.4 | 70.9 | 65.1 | 61.8 |
|
49 |
+
| LLama1 34b | 42.9 | 65.4 | 49.0 | 52.4 |
|
50 |
+
| Mistral 7b | 41.49 | 61.22 | 52.53 | 51.7 |
|
51 |
''')
|
52 |
|
53 |
|