metadata

license: apache-2.0
language:
  - fr
model-index:
  - name: legml-v0.1
    results:
      - task:
          type: text-generation
          name: Text Generation
        dataset:
          name: gpqa-fr
          type: ai2_arc
          config: le-leadboard/gpqa-fr
          split: test
          args:
            num_few_shot: 25
        metrics:
          - type: acc
            value: 16.49
            name: accuracy
      - task:
          type: text-generation
          name: Text Generation
        dataset:
          name: IFEval-fr
          type: le-leadboard/IFEval-fr
          split: validation
          args:
            num_few_shot: 10
        metrics:
          - type: acc
            value: 14.68
            name: accuracy
      - task:
          type: text-generation
          name: Text Generation
        dataset:
          name: MMMLU-fr
          type: le-leadboard/MMMLU-fr
          config: all
          split: test
          args:
            num_few_shot: 5
        metrics:
          - type: acc
            value: 68.31
            name: accuracy
      - task:
          type: text-generation
          name: Text Generation
        dataset:
          name: bbh-fr
          type: le-leadboard/bbh-fr
          config: multiple_choice
          split: validation
          args:
            num_few_shot: 0
        metrics:
          - type: acc
            name: accuracy
            value: 37.17
      - task:
          type: text-generation
          name: Text Generation
        dataset:
          name: musr-fr
          type: le-leadboard/musr-fr
          config: le-leadboard/musr-fr
          split: validation
          args:
            num_few_shot: 5
        metrics:
          - type: acc
            value: 9.93
            name: accuracy
      - task:
          type: text-generation
          name: Text Generation
        dataset:
          name: MATH_LVL5_fr
          type: le-leadboard/MATH_LVL5_fr
          config: le-leadboard/MATH_LVL5_fr
          split: test
          args:
            num_few_shot: 5
        metrics:
          - type: acc
            value: 22.27
            name: accuracy
base_model:
  - Qwen/Qwen2.5-14B

legml-v0.1

legml-v0.1 est un grand modèle de langage (LLM) en français, capable de gérer une multitude de tâches telles que la programmation, les mathématiques, et bien d'autres domaines. Ce modèle est une version étendue d'un LLM basé sur Qwen, optimisé spécifiquement pour le français. Il a été entraîné sur un vaste corpus de données françaises nettoyées et annotées avec soin pour exécuter des instructions en français avec précision et cohérence.

L'entraînement intensif a été réalisé sur 4 GPU A100 pendant une durée de deux jours, utilisant cet ensemble de données spécialisé pour améliorer ses performances globales.

Détails du Modèle

Modèle de Base : Qwen-2.5 LLM avec 14 milliards de paramètres
Données d'Entraînement : Corpus français annoté et nettoyé
Méthode d'Entraînement : Affinage complet approfondi

Exemples d'Utilisation

from transformers import AutoModelForCausalLM, AutoTokenizer
device = "cuda"  # Appareil sur lequel charger le modèle

model_name = "legmlai/legml-v0.1"
model = AutoModelForCausalLM.from_pretrained(
    model_name,
    torch_dtype="auto",
    device_map="auto"
)
tokenizer = AutoTokenizer.from_pretrained(model_name)

prompt = "Expliquez les principes fondamentaux de la théorie de la relativité restreinte."
messages = [
    {
        "role": "system",
        "content": "Vous êtes un assistant virtuel compétent, prêt à fournir des réponses claires et détaillées aux questions posées."
    },
    {
        "role": "user",
        "content": prompt
    }
]
text = tokenizer.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True
)
model_inputs = tokenizer([text], return_tensors="pt").to(device)

generated_ids = model.generate(
    model_inputs.input_ids,
    temperature=0.5,
    top_k=40,
    top_p=0.8,
    max_new_tokens=512,
    repetition_penalty=1.05,
)
generated_ids = [
    output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)
]

response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]
print(response)

Exemples de Générations

Exemple 1

Question :

Expliquez les principes fondamentaux de la théorie de la relativité restreinte.

Réponse :

La théorie de la relativité restreinte, proposée par Albert Einstein en 1905, repose sur deux principes fondamentaux :

Principe de Relativité : Les lois de la physique sont les mêmes dans tous les référentiels inertiels, c'est-à-dire pour tous les observateurs en mouvement rectiligne uniforme les uns par rapport aux autres.
Invariance de la Vitesse de la Lumière : La vitesse de la lumière dans le vide est constante et indépendante du mouvement de la source ou de l'observateur, soit approximativement ( c = 299,792,458 ) mètres par seconde.

Ces principes entraînent des conséquences majeures, telles que la dilatation du temps, la contraction des longueurs et l'équivalence masse-énergie exprimée par la célèbre formule ( E = mc^2 ).

Exemple 2

Question :

Comment installer une bibliothèque externe en Python, par exemple NumPy ?

Réponse :

Pour installer une bibliothèque externe en Python comme NumPy, vous pouvez utiliser le gestionnaire de packages `pip`. Voici comment faire :

Ouvrez le terminal ou l'invite de commande de votre système.
Exécutez la commande suivante :
```
pip install numpy
```
Vérifiez l'installation en important la bibliothèque dans un script Python :
```
import numpy as np
print(np.__version__)
```

Cette commande installera NumPy sur votre système, et vous pourrez l'utiliser dans vos scripts pour des calculs scientifiques et mathématiques.

Résultats de l'Évaluation

Les performances de LegML-v0.1 ont été évaluées sur divers benchmarks en français. Voici les résultats obtenus :

Benchmark	Métrique	Valeur (%)
BBH-fr	Précision normalisée	37.17%
GPQA-fr	Précision normalisée	16.49%
IFEval-fr	Précision stricte	14.68%
MUSR-fr	Précision normalisée	9.93%
MATH-lvl5-fr	Correspondance exacte	22.27%
MMMLU-fr	Précision	68.31%
Moyenne		28.81%

Ces résultats démontrent les capacités du modèle sur une gamme variée de tâches complexes en français, tout en indiquant les domaines où des améliorations peuvent être apportées.