|
--- |
|
license: apache-2.0 |
|
language: |
|
- fr |
|
model-index: |
|
- name: legml-v0.1 |
|
results: |
|
- task: |
|
type: text-generation |
|
name: Text Generation |
|
dataset: |
|
name: gpqa-fr |
|
type: ai2_arc |
|
config: le-leadboard/gpqa-fr |
|
split: test |
|
args: |
|
num_few_shot: 25 |
|
metrics: |
|
- type: acc |
|
value: 16.49 |
|
name: accuracy |
|
- task: |
|
type: text-generation |
|
name: Text Generation |
|
dataset: |
|
name: IFEval-fr |
|
type: le-leadboard/IFEval-fr |
|
split: validation |
|
args: |
|
num_few_shot: 10 |
|
metrics: |
|
- type: acc |
|
value: 14.68 |
|
name: accuracy |
|
- task: |
|
type: text-generation |
|
name: Text Generation |
|
dataset: |
|
name: MMMLU-fr |
|
type: le-leadboard/MMMLU-fr |
|
config: all |
|
split: test |
|
args: |
|
num_few_shot: 5 |
|
metrics: |
|
- type: acc |
|
value: 68.31 |
|
name: accuracy |
|
- task: |
|
type: text-generation |
|
name: Text Generation |
|
dataset: |
|
name: bbh-fr |
|
type: le-leadboard/bbh-fr |
|
config: multiple_choice |
|
split: validation |
|
args: |
|
num_few_shot: 0 |
|
metrics: |
|
- type: acc |
|
name: accuracy |
|
value: 37.17 |
|
- task: |
|
type: text-generation |
|
name: Text Generation |
|
dataset: |
|
name: musr-fr |
|
type: le-leadboard/musr-fr |
|
config: le-leadboard/musr-fr |
|
split: validation |
|
args: |
|
num_few_shot: 5 |
|
metrics: |
|
- type: acc |
|
value: 9.93 |
|
name: accuracy |
|
- task: |
|
type: text-generation |
|
name: Text Generation |
|
dataset: |
|
name: MATH_LVL5_fr |
|
type: le-leadboard/MATH_LVL5_fr |
|
config: le-leadboard/MATH_LVL5_fr |
|
split: test |
|
args: |
|
num_few_shot: 5 |
|
metrics: |
|
- type: acc |
|
value: 22.27 |
|
name: accuracy |
|
base_model: |
|
- Qwen/Qwen2.5-14B |
|
--- |
|
|
|
<img src="https://huggingface.co/legmlai/legml-v0.1/resolve/main/lgml.png" alt="legml-v0.1" width="400"/> |
|
|
|
|
|
# legml-v0.1 |
|
|
|
legml-v0.1 est un grand modèle de langage (LLM) en français, capable de gérer une multitude de tâches telles que la programmation, les mathématiques, et bien d'autres domaines. Ce modèle est une version étendue d'un LLM basé sur Qwen, optimisé spécifiquement pour le français. Il a été entraîné sur un vaste corpus de données françaises nettoyées et annotées avec soin pour exécuter des instructions en français avec précision et cohérence. |
|
|
|
L'entraînement intensif a été réalisé sur 4 GPU A100 pendant une durée de deux jours, utilisant cet ensemble de données spécialisé pour améliorer ses performances globales. |
|
|
|
## Détails du Modèle |
|
|
|
- **Modèle de Base** : Qwen-2.5 LLM avec 14 milliards de paramètres |
|
- **Données d'Entraînement** : Corpus français annoté et nettoyé |
|
- **Méthode d'Entraînement** : Affinage complet approfondi |
|
|
|
## Exemples d'Utilisation |
|
|
|
```python |
|
from transformers import AutoModelForCausalLM, AutoTokenizer |
|
device = "cuda" # Appareil sur lequel charger le modèle |
|
|
|
model_name = "legmlai/legml-v0.1" |
|
model = AutoModelForCausalLM.from_pretrained( |
|
model_name, |
|
torch_dtype="auto", |
|
device_map="auto" |
|
) |
|
tokenizer = AutoTokenizer.from_pretrained(model_name) |
|
|
|
prompt = "Expliquez les principes fondamentaux de la théorie de la relativité restreinte." |
|
messages = [ |
|
{ |
|
"role": "system", |
|
"content": "Vous êtes un assistant virtuel compétent, prêt à fournir des réponses claires et détaillées aux questions posées." |
|
}, |
|
{ |
|
"role": "user", |
|
"content": prompt |
|
} |
|
] |
|
text = tokenizer.apply_chat_template( |
|
messages, |
|
tokenize=False, |
|
add_generation_prompt=True |
|
) |
|
model_inputs = tokenizer([text], return_tensors="pt").to(device) |
|
|
|
generated_ids = model.generate( |
|
model_inputs.input_ids, |
|
temperature=0.5, |
|
top_k=40, |
|
top_p=0.8, |
|
max_new_tokens=512, |
|
repetition_penalty=1.05, |
|
) |
|
generated_ids = [ |
|
output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids) |
|
] |
|
|
|
response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0] |
|
print(response) |
|
``` |
|
|
|
## Exemples de Générations |
|
|
|
### Exemple 1 |
|
|
|
**Question :** |
|
|
|
``` |
|
Expliquez les principes fondamentaux de la théorie de la relativité restreinte. |
|
``` |
|
|
|
**Réponse :** |
|
|
|
La théorie de la relativité restreinte, proposée par Albert Einstein en 1905, repose sur deux principes fondamentaux : |
|
|
|
1. **Principe de Relativité** : Les lois de la physique sont les mêmes dans tous les référentiels inertiels, c'est-à-dire pour tous les observateurs en mouvement rectiligne uniforme les uns par rapport aux autres. |
|
|
|
2. **Invariance de la Vitesse de la Lumière** : La vitesse de la lumière dans le vide est constante et indépendante du mouvement de la source ou de l'observateur, soit approximativement \( c = 299\,792\,458 \) mètres par seconde. |
|
|
|
Ces principes entraînent des conséquences majeures, telles que la dilatation du temps, la contraction des longueurs et l'équivalence masse-énergie exprimée par la célèbre formule \( E = mc^2 \). |
|
|
|
### Exemple 2 |
|
|
|
**Question :** |
|
|
|
``` |
|
Comment installer une bibliothèque externe en Python, par exemple NumPy ? |
|
``` |
|
|
|
**Réponse :** |
|
|
|
Pour installer une bibliothèque externe en Python comme NumPy, vous pouvez utiliser le gestionnaire de packages \`pip\`. Voici comment faire : |
|
|
|
1. **Ouvrez le terminal ou l'invite de commande** de votre système. |
|
|
|
2. **Exécutez la commande suivante** : |
|
|
|
```bash |
|
pip install numpy |
|
``` |
|
|
|
3. **Vérifiez l'installation** en important la bibliothèque dans un script Python : |
|
|
|
```python |
|
import numpy as np |
|
print(np.__version__) |
|
``` |
|
|
|
Cette commande installera NumPy sur votre système, et vous pourrez l'utiliser dans vos scripts pour des calculs scientifiques et mathématiques. |
|
|
|
## Résultats de l'Évaluation |
|
|
|
Les performances de LegML-v0.1 ont été évaluées sur divers benchmarks en français. Voici les résultats obtenus : |
|
|
|
| Benchmark | Métrique | Valeur (%) | |
|
|--------------------|------------------------|-----------:| |
|
| **BBH-fr** | Précision normalisée | 37.17% | |
|
| **GPQA-fr** | Précision normalisée | 16.49% | |
|
| **IFEval-fr** | Précision stricte | 14.68% | |
|
| **MUSR-fr** | Précision normalisée | 9.93% | |
|
| **MATH-lvl5-fr** | Correspondance exacte | 22.27% | |
|
| **MMMLU-fr** | Précision | 68.31% | |
|
| **Moyenne** | | 28.81% | |
|
|
|
Ces résultats démontrent les capacités du modèle sur une gamme variée de tâches complexes en français, tout en indiquant les domaines où des améliorations peuvent être apportées. |
