Add new SentenceTransformer model.

.gitattributes

@@ -33,3 +33,4 @@ saved_model/**/* filter=lfs diff=lfs merge=lfs -text
 *.zip filter=lfs diff=lfs merge=lfs -text
 *.zst filter=lfs diff=lfs merge=lfs -text
 *tfevents* filter=lfs diff=lfs merge=lfs -text
+tokenizer.json filter=lfs diff=lfs merge=lfs -text

1_Pooling/config.json

@@ -0,0 +1,10 @@
+{
+  "word_embedding_dimension": 768,
+  "pooling_mode_cls_token": false,
+  "pooling_mode_mean_tokens": true,
+  "pooling_mode_max_tokens": false,
+  "pooling_mode_mean_sqrt_len_tokens": false,
+  "pooling_mode_weightedmean_tokens": false,
+  "pooling_mode_lasttoken": false,
+  "include_prompt": true
+}

README.md

@@ -0,0 +1,845 @@
+---
+base_model: intfloat/multilingual-e5-base
+library_name: sentence-transformers
+metrics:
+- cosine_accuracy@1
+- cosine_accuracy@3
+- cosine_accuracy@5
+- cosine_accuracy@10
+- cosine_precision@1
+- cosine_precision@3
+- cosine_precision@5
+- cosine_precision@10
+- cosine_recall@1
+- cosine_recall@3
+- cosine_recall@5
+- cosine_recall@10
+- cosine_ndcg@10
+- cosine_mrr@10
+- cosine_map@100
+pipeline_tag: sentence-similarity
+tags:
+- sentence-transformers
+- sentence-similarity
+- feature-extraction
+- generated_from_trainer
+- dataset_size:9000
+- loss:MatryoshkaLoss
+- loss:MultipleNegativesRankingLoss
+widget:
+- source_sentence: Les vérifications périodiques sont réalisées soit par un organisme
+    accrédité, soit par une personne qualifiée appartenant à l'entreprise et dont
+    la compétence est appréciée par l'employeur au regard de critères énoncés dans
+    un arrêté du ministre chargé du travail et du ministre chargé de l'agriculture.
+  sentences:
+  - Quels sont les critères énoncés dans un arrêté du ministre chargé du travail et
+    du ministre chargé de l'agriculture pour apprécier la compétence d'une personne
+    qualifiée pour réaliser des vérifications périodiques au sein d'une entreprise
+    ?
+  - Quels sont les éléments clés que les acquéreurs de parts d'une société d'épargne
+    forestière doivent prendre en compte pour évaluer les caractéristiques d'un patrimoine
+    forestier et les risques associés ?
+  - Quels sont les ustensiles, machines ou mécaniques interdits de détention en rapport
+    avec la fabrication ou la pulvérisation du tabac ?
+- source_sentence: 'Les prestations en matière d''échange (numéros 96 et 97 du tableau
+    5) donnent lieu à la perception : 1° S''agissant de l''échange bilatéral, d''un
+    émolument proportionnel à la valeur du plus fort des deux lots échangés, selon
+    le barème suivant : Tranches d''assiette Taux applicable De 0 à 6 500 € 3,870
+    % De 6 500 € à 17 000 € 1,596 % De 17 000 € à 60 000 € 1,064 % Plus de 60 000
+    € 0,799 % 2° S''agissant de l''échange multilatéral, d''un émolument proportionnel
+    à la valeur globale des biens échangés, selon le barème suivant : Tranches d''assiette
+    Taux applicable De 0 à 6 500 € 2,580 % De 6 500 € à 17 000 € 1,064 % De 17 000
+    € à 60 000 € 0,709 % Plus de 60 000 € 0,532 %'
+  sentences:
+  - Quels sont les conséquences pour le prêteur en cas de défaut de mention ou de
+    mention erronée du taux effectif global, notamment en ce qui concerne le droit
+    aux intérêts et le remboursement du capital ?
+  - Quels sont les éléments déterminants pour établir l'assiette et le mode de servitude
+    de passage pour cause d'enclave, et quels sont les effets sur l'action en indemnité
+    et le passage en cas d'usage continu de trente ans ?
+  - Quel est le taux d'émolument applicable en fonction de la valeur des biens échangés
+    dans les cas d'échange bilatéral ou multilatéral ?
+- source_sentence: La demande d'autorisation de transit est présentée par une personne
+    titulaire du statut d'opérateur économique agréé pour la sécurité et la sûreté
+    tel que défini dans le règlement (UE) n° 952/2013 du Parlement européen et du
+    Conseil du 9 octobre 2013 établissant le code des douanes de l'Union. La demande
+    est établie dans les conditions définies par arrêté du ministre chargé des douanes.
+    Elle est déposée auprès du chef du service des autorisations de mouvements internationaux
+    d'armes.
+  sentences:
+  - Quels types de contrats sont exclus de la portée des dispositions du présent titre
+    ?
+  - Quels sont les critères pour obtenir le statut d'opérateur économique agréé pour
+    la sécurité et la sûreté, nécessaires pour présenter une demande d'autorisation
+    de transit, conformément au règlement (UE) n° 952/2013 du Parlement européen et
+    du Conseil ?
+  - Dans quelsles conditions un établissement de crédit ou une société de financement
+    peut-il déroger, en tout ou partie, aux dispositions des articles D. 331-75 et
+    D. 331-76-5-1 lors de l'octroi d'un prêt au vendeur ?
+- source_sentence: En application du contrat prévu à l'article 95 ZA , le tiers de
+    confiance transmet à l'administration fiscale par voie électronique, pour le compte
+    de ses clients, les déclarations annuelles de revenus et leurs annexes. L'obligation
+    de télétransmission du tiers de confiance ne porte pas sur les déclarations à
+    souscrire au titre des revenus perçus au cours de l'année durant laquelle s'achève
+    la mission de tiers de confiance. Le contribuable mentionné au I de l'article
+    170 ter du code général des impôts est regardé, pour une année donnée, comme client
+    d'un tiers de confiance s'il est lié avec celui-ci par le contrat prévu à l'article
+    95 ZA, conclu au plus tard lors du dépôt, par le professionnel, de la déclaration
+    annuelle des revenus.
+  sentences:
+  - Quel est le sort des demandes lorsqu'il n'y a pas de réponse de l'autorité compétente
+    dans les délais prévus ?
+  - Quels sont les éléments que le tiers de confiance est tenu de transmettre à l'administration
+    fiscale pour le compte de ses clients, et dans quels cas cette obligation de télétransmission
+    ne s'applique-t-elle pas ?
+  - Quels sont les membres composant les collèges territoriaux des finances publiques
+    et qui est chargé de la présidence en cas d'absence ou d'empêchement du président
+    ?
+- source_sentence: Les projets de marchés de partenariat conclus pour le compte des
+    acheteurs non autorisés sont instruits par le ministre de tutelle.
+  sentences:
+  - Quels sont les documents que les établissements de paiement et les établissements
+    de monnaie électronique doivent mettre à disposition de leur clientèle et du public
+    pour les opérations de paiement et les comptes de paiement, et quels sont les
+    informations minimales qui doivent être incluses dans ces documents ?
+  - Dans quelle situation l'assuré a-t-il besoin d'être assisté ou représenté par
+    un avocat en raison de la défense de la partie adverse ?
+  - Qui est responsable de l'instruction des projets de marchés de partenariat conclus
+    pour le compte des acheteurs non autorisés ?
+model-index:
+- name: SentenceTransformer based on intfloat/multilingual-e5-base
+  results:
+  - task:
+      type: information-retrieval
+      name: Information Retrieval
+    dataset:
+      name: dim 768
+      type: dim_768
+    metrics:
+    - type: cosine_accuracy@1
+      value: 0.94
+      name: Cosine Accuracy@1
+    - type: cosine_accuracy@3
+      value: 0.981
+      name: Cosine Accuracy@3
+    - type: cosine_accuracy@5
+      value: 0.987
+      name: Cosine Accuracy@5
+    - type: cosine_accuracy@10
+      value: 0.989
+      name: Cosine Accuracy@10
+    - type: cosine_precision@1
+      value: 0.94
+      name: Cosine Precision@1
+    - type: cosine_precision@3
+      value: 0.32699999999999996
+      name: Cosine Precision@3
+    - type: cosine_precision@5
+      value: 0.19740000000000005
+      name: Cosine Precision@5
+    - type: cosine_precision@10
+      value: 0.0989
+      name: Cosine Precision@10
+    - type: cosine_recall@1
+      value: 0.94
+      name: Cosine Recall@1
+    - type: cosine_recall@3
+      value: 0.981
+      name: Cosine Recall@3
+    - type: cosine_recall@5
+      value: 0.987
+      name: Cosine Recall@5
+    - type: cosine_recall@10
+      value: 0.989
+      name: Cosine Recall@10
+    - type: cosine_ndcg@10
+      value: 0.9683994234957766
+      name: Cosine Ndcg@10
+    - type: cosine_mrr@10
+      value: 0.9613761904761905
+      name: Cosine Mrr@10
+    - type: cosine_map@100
+      value: 0.9617349428516079
+      name: Cosine Map@100
+  - task:
+      type: information-retrieval
+      name: Information Retrieval
+    dataset:
+      name: dim 512
+      type: dim_512
+    metrics:
+    - type: cosine_accuracy@1
+      value: 0.942
+      name: Cosine Accuracy@1
+    - type: cosine_accuracy@3
+      value: 0.982
+      name: Cosine Accuracy@3
+    - type: cosine_accuracy@5
+      value: 0.988
+      name: Cosine Accuracy@5
+    - type: cosine_accuracy@10
+      value: 0.989
+      name: Cosine Accuracy@10
+    - type: cosine_precision@1
+      value: 0.942
+      name: Cosine Precision@1
+    - type: cosine_precision@3
+      value: 0.32733333333333325
+      name: Cosine Precision@3
+    - type: cosine_precision@5
+      value: 0.19760000000000003
+      name: Cosine Precision@5
+    - type: cosine_precision@10
+      value: 0.0989
+      name: Cosine Precision@10
+    - type: cosine_recall@1
+      value: 0.942
+      name: Cosine Recall@1
+    - type: cosine_recall@3
+      value: 0.982
+      name: Cosine Recall@3
+    - type: cosine_recall@5
+      value: 0.988
+      name: Cosine Recall@5
+    - type: cosine_recall@10
+      value: 0.989
+      name: Cosine Recall@10
+    - type: cosine_ndcg@10
+      value: 0.969565548663498
+      name: Cosine Ndcg@10
+    - type: cosine_mrr@10
+      value: 0.9629166666666668
+      name: Cosine Mrr@10
+    - type: cosine_map@100
+      value: 0.9632981492091787
+      name: Cosine Map@100
+  - task:
+      type: information-retrieval
+      name: Information Retrieval
+    dataset:
+      name: dim 256
+      type: dim_256
+    metrics:
+    - type: cosine_accuracy@1
+      value: 0.937
+      name: Cosine Accuracy@1
+    - type: cosine_accuracy@3
+      value: 0.98
+      name: Cosine Accuracy@3
+    - type: cosine_accuracy@5
+      value: 0.985
+      name: Cosine Accuracy@5
+    - type: cosine_accuracy@10
+      value: 0.989
+      name: Cosine Accuracy@10
+    - type: cosine_precision@1
+      value: 0.937
+      name: Cosine Precision@1
+    - type: cosine_precision@3
+      value: 0.3266666666666666
+      name: Cosine Precision@3
+    - type: cosine_precision@5
+      value: 0.197
+      name: Cosine Precision@5
+    - type: cosine_precision@10
+      value: 0.0989
+      name: Cosine Precision@10
+    - type: cosine_recall@1
+      value: 0.937
+      name: Cosine Recall@1
+    - type: cosine_recall@3
+      value: 0.98
+      name: Cosine Recall@3
+    - type: cosine_recall@5
+      value: 0.985
+      name: Cosine Recall@5
+    - type: cosine_recall@10
+      value: 0.989
+      name: Cosine Recall@10
+    - type: cosine_ndcg@10
+      value: 0.9661778506957523
+      name: Cosine Ndcg@10
+    - type: cosine_mrr@10
+      value: 0.958502380952381
+      name: Cosine Mrr@10
+    - type: cosine_map@100
+      value: 0.9588400474998072
+      name: Cosine Map@100
+  - task:
+      type: information-retrieval
+      name: Information Retrieval
+    dataset:
+      name: dim 128
+      type: dim_128
+    metrics:
+    - type: cosine_accuracy@1
+      value: 0.93
+      name: Cosine Accuracy@1
+    - type: cosine_accuracy@3
+      value: 0.972
+      name: Cosine Accuracy@3
+    - type: cosine_accuracy@5
+      value: 0.983
+      name: Cosine Accuracy@5
+    - type: cosine_accuracy@10
+      value: 0.988
+      name: Cosine Accuracy@10
+    - type: cosine_precision@1
+      value: 0.93
+      name: Cosine Precision@1
+    - type: cosine_precision@3
+      value: 0.32399999999999995
+      name: Cosine Precision@3
+    - type: cosine_precision@5
+      value: 0.19660000000000002
+      name: Cosine Precision@5
+    - type: cosine_precision@10
+      value: 0.09880000000000001
+      name: Cosine Precision@10
+    - type: cosine_recall@1
+      value: 0.93
+      name: Cosine Recall@1
+    - type: cosine_recall@3
+      value: 0.972
+      name: Cosine Recall@3
+    - type: cosine_recall@5
+      value: 0.983
+      name: Cosine Recall@5
+    - type: cosine_recall@10
+      value: 0.988
+      name: Cosine Recall@10
+    - type: cosine_ndcg@10
+      value: 0.9619055617624742
+      name: Cosine Ndcg@10
+    - type: cosine_mrr@10
+      value: 0.9532523809523811
+      name: Cosine Mrr@10
+    - type: cosine_map@100
+      value: 0.9537039961889963
+      name: Cosine Map@100
+  - task:
+      type: information-retrieval
+      name: Information Retrieval
+    dataset:
+      name: dim 64
+      type: dim_64
+    metrics:
+    - type: cosine_accuracy@1
+      value: 0.901
+      name: Cosine Accuracy@1
+    - type: cosine_accuracy@3
+      value: 0.966
+      name: Cosine Accuracy@3
+    - type: cosine_accuracy@5
+      value: 0.977
+      name: Cosine Accuracy@5
+    - type: cosine_accuracy@10
+      value: 0.989
+      name: Cosine Accuracy@10
+    - type: cosine_precision@1
+      value: 0.901
+      name: Cosine Precision@1
+    - type: cosine_precision@3
+      value: 0.32199999999999995
+      name: Cosine Precision@3
+    - type: cosine_precision@5
+      value: 0.19540000000000005
+      name: Cosine Precision@5
+    - type: cosine_precision@10
+      value: 0.09890000000000002
+      name: Cosine Precision@10
+    - type: cosine_recall@1
+      value: 0.901
+      name: Cosine Recall@1
+    - type: cosine_recall@3
+      value: 0.966
+      name: Cosine Recall@3
+    - type: cosine_recall@5
+      value: 0.977
+      name: Cosine Recall@5
+    - type: cosine_recall@10
+      value: 0.989
+      name: Cosine Recall@10
+    - type: cosine_ndcg@10
+      value: 0.947780306797729
+      name: Cosine Ndcg@10
+    - type: cosine_mrr@10
+      value: 0.9342468253968255
+      name: Cosine Mrr@10
+    - type: cosine_map@100
+      value: 0.9345714945276086
+      name: Cosine Map@100
+---
+
+# SentenceTransformer based on intfloat/multilingual-e5-base
+
+This is a [sentence-transformers](https://www.SBERT.net) model finetuned from [intfloat/multilingual-e5-base](https://huggingface.co/intfloat/multilingual-e5-base) on the json dataset. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.
+
+## Model Details
+
+### Model Description
+- **Model Type:** Sentence Transformer
+- **Base model:** [intfloat/multilingual-e5-base](https://huggingface.co/intfloat/multilingual-e5-base) <!-- at revision d13f1b27baf31030b7fd040960d60d909913633f -->
+- **Maximum Sequence Length:** 512 tokens
+- **Output Dimensionality:** 768 tokens
+- **Similarity Function:** Cosine Similarity
+- **Training Dataset:**
+    - json
+<!-- - **Language:** Unknown -->
+<!-- - **License:** Unknown -->
+
+### Model Sources
+
+- **Documentation:** [Sentence Transformers Documentation](https://sbert.net)
+- **Repository:** [Sentence Transformers on GitHub](https://github.com/UKPLab/sentence-transformers)
+- **Hugging Face:** [Sentence Transformers on Hugging Face](https://huggingface.co/models?library=sentence-transformers)
+
+### Full Model Architecture
+
+```
+SentenceTransformer(
+  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: XLMRobertaModel 
+  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
+  (2): Normalize()
+)
+```
+
+## Usage
+
+### Direct Usage (Sentence Transformers)
+
+First install the Sentence Transformers library:
+
+```bash
+pip install -U sentence-transformers
+```
+
+Then you can load this model and run inference.
+```python
+from sentence_transformers import SentenceTransformer
+
+# Download from the 🤗 Hub
+model = SentenceTransformer("KarBik/legal-french-matroshka")
+# Run inference
+sentences = [
+    'Les projets de marchés de partenariat conclus pour le compte des acheteurs non autorisés sont instruits par le ministre de tutelle.',
+    "Qui est responsable de l'instruction des projets de marchés de partenariat conclus pour le compte des acheteurs non autorisés ?",
+    "Dans quelle situation l'assuré a-t-il besoin d'être assisté ou représenté par un avocat en raison de la défense de la partie adverse ?",
+]
+embeddings = model.encode(sentences)
+print(embeddings.shape)
+# [3, 768]
+
+# Get the similarity scores for the embeddings
+similarities = model.similarity(embeddings, embeddings)
+print(similarities.shape)
+# [3, 3]
+```
+
+<!--
+### Direct Usage (Transformers)
+
+<details><summary>Click to see the direct usage in Transformers</summary>
+
+</details>
+-->
+
+<!--
+### Downstream Usage (Sentence Transformers)
+
+You can finetune this model on your own dataset.
+
+<details><summary>Click to expand</summary>
+
+</details>
+-->
+
+<!--
+### Out-of-Scope Use
+
+*List how the model may foreseeably be misused and address what users ought not to do with the model.*
+-->
+
+## Evaluation
+
+### Metrics
+
+#### Information Retrieval
+* Dataset: `dim_768`
+* Evaluated with [<code>InformationRetrievalEvaluator</code>](https://sbert.net/docs/package_reference/sentence_transformer/evaluation.html#sentence_transformers.evaluation.InformationRetrievalEvaluator)
+
+| Metric              | Value      |
+|:--------------------|:-----------|
+| cosine_accuracy@1   | 0.94       |
+| cosine_accuracy@3   | 0.981      |
+| cosine_accuracy@5   | 0.987      |
+| cosine_accuracy@10  | 0.989      |
+| cosine_precision@1  | 0.94       |
+| cosine_precision@3  | 0.327      |
+| cosine_precision@5  | 0.1974     |
+| cosine_precision@10 | 0.0989     |
+| cosine_recall@1     | 0.94       |
+| cosine_recall@3     | 0.981      |
+| cosine_recall@5     | 0.987      |
+| cosine_recall@10    | 0.989      |
+| cosine_ndcg@10      | 0.9684     |
+| cosine_mrr@10       | 0.9614     |
+| **cosine_map@100**  | **0.9617** |
+
+#### Information Retrieval
+* Dataset: `dim_512`
+* Evaluated with [<code>InformationRetrievalEvaluator</code>](https://sbert.net/docs/package_reference/sentence_transformer/evaluation.html#sentence_transformers.evaluation.InformationRetrievalEvaluator)
+
+| Metric              | Value      |
+|:--------------------|:-----------|
+| cosine_accuracy@1   | 0.942      |
+| cosine_accuracy@3   | 0.982      |
+| cosine_accuracy@5   | 0.988      |
+| cosine_accuracy@10  | 0.989      |
+| cosine_precision@1  | 0.942      |
+| cosine_precision@3  | 0.3273     |
+| cosine_precision@5  | 0.1976     |
+| cosine_precision@10 | 0.0989     |
+| cosine_recall@1     | 0.942      |
+| cosine_recall@3     | 0.982      |
+| cosine_recall@5     | 0.988      |
+| cosine_recall@10    | 0.989      |
+| cosine_ndcg@10      | 0.9696     |
+| cosine_mrr@10       | 0.9629     |
+| **cosine_map@100**  | **0.9633** |
+
+#### Information Retrieval
+* Dataset: `dim_256`
+* Evaluated with [<code>InformationRetrievalEvaluator</code>](https://sbert.net/docs/package_reference/sentence_transformer/evaluation.html#sentence_transformers.evaluation.InformationRetrievalEvaluator)
+
+| Metric              | Value      |
+|:--------------------|:-----------|
+| cosine_accuracy@1   | 0.937      |
+| cosine_accuracy@3   | 0.98       |
+| cosine_accuracy@5   | 0.985      |
+| cosine_accuracy@10  | 0.989      |
+| cosine_precision@1  | 0.937      |
+| cosine_precision@3  | 0.3267     |
+| cosine_precision@5  | 0.197      |
+| cosine_precision@10 | 0.0989     |
+| cosine_recall@1     | 0.937      |
+| cosine_recall@3     | 0.98       |
+| cosine_recall@5     | 0.985      |
+| cosine_recall@10    | 0.989      |
+| cosine_ndcg@10      | 0.9662     |
+| cosine_mrr@10       | 0.9585     |
+| **cosine_map@100**  | **0.9588** |
+
+#### Information Retrieval
+* Dataset: `dim_128`
+* Evaluated with [<code>InformationRetrievalEvaluator</code>](https://sbert.net/docs/package_reference/sentence_transformer/evaluation.html#sentence_transformers.evaluation.InformationRetrievalEvaluator)
+
+| Metric              | Value      |
+|:--------------------|:-----------|
+| cosine_accuracy@1   | 0.93       |
+| cosine_accuracy@3   | 0.972      |
+| cosine_accuracy@5   | 0.983      |
+| cosine_accuracy@10  | 0.988      |
+| cosine_precision@1  | 0.93       |
+| cosine_precision@3  | 0.324      |
+| cosine_precision@5  | 0.1966     |
+| cosine_precision@10 | 0.0988     |
+| cosine_recall@1     | 0.93       |
+| cosine_recall@3     | 0.972      |
+| cosine_recall@5     | 0.983      |
+| cosine_recall@10    | 0.988      |
+| cosine_ndcg@10      | 0.9619     |
+| cosine_mrr@10       | 0.9533     |
+| **cosine_map@100**  | **0.9537** |
+
+#### Information Retrieval
+* Dataset: `dim_64`
+* Evaluated with [<code>InformationRetrievalEvaluator</code>](https://sbert.net/docs/package_reference/sentence_transformer/evaluation.html#sentence_transformers.evaluation.InformationRetrievalEvaluator)
+
+| Metric              | Value      |
+|:--------------------|:-----------|
+| cosine_accuracy@1   | 0.901      |
+| cosine_accuracy@3   | 0.966      |
+| cosine_accuracy@5   | 0.977      |
+| cosine_accuracy@10  | 0.989      |
+| cosine_precision@1  | 0.901      |
+| cosine_precision@3  | 0.322      |
+| cosine_precision@5  | 0.1954     |
+| cosine_precision@10 | 0.0989     |
+| cosine_recall@1     | 0.901      |
+| cosine_recall@3     | 0.966      |
+| cosine_recall@5     | 0.977      |
+| cosine_recall@10    | 0.989      |
+| cosine_ndcg@10      | 0.9478     |
+| cosine_mrr@10       | 0.9342     |
+| **cosine_map@100**  | **0.9346** |
+
+<!--
+## Bias, Risks and Limitations
+
+*What are the known or foreseeable issues stemming from this model? You could also flag here known failure cases or weaknesses of the model.*
+-->
+
+<!--
+### Recommendations
+
+*What are recommendations with respect to the foreseeable issues? For example, filtering explicit content.*
+-->
+
+## Training Details
+
+### Training Dataset
+
+#### json
+
+* Dataset: json
+* Size: 9,000 training samples
+* Columns: <code>positive</code> and <code>anchor</code>
+* Approximate statistics based on the first 1000 samples:
+  |         | positive                                                                             | anchor                                                                              |
+  |:--------|:-------------------------------------------------------------------------------------|:------------------------------------------------------------------------------------|
+  | type    | string                                                                               | string                                                                              |
+  | details | <ul><li>min: 11 tokens</li><li>mean: 141.81 tokens</li><li>max: 512 tokens</li></ul> | <ul><li>min: 11 tokens</li><li>mean: 57.29 tokens</li><li>max: 262 tokens</li></ul> |
+* Samples:
+  | positive                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                   | anchor                                                                                                                                                                                                                                                               |
+  |:-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|:---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|
+  | <code>Sauf dispositions contraires des conventions internationales, l'émission de titres comportant la mention visée à l'article 51 entraîne l'obligation pour l'organisme émetteur d'opérer, sur les produits de ces titres et pendant toute la durée de ceux-ci, la retenue à la source édictée par le 1 de l'article 119 bis du code général des impôts. Le montant de cette retenue doit être versé au comptable désigné par l'administration, dans les conditions et suivant les modalités fixées par le 1 de l'article 1672 et l'article 1673 dudit code.</code>                                                                     | <code>Quelle est l'obligation de l'organisme émetteur concernant les produits de titres émis avec la mention visée à l'article 51, et comment doit-il opérer la retenue à la source pendant la durée de ces titres ?</code>                                          |
+  | <code>Lorsque l'allocation est attribuée en application du troisième alinéa de l'article L. 232-12 et du cinquième alinéa de l'article L. 232-14 , le montant forfaitaire attribué est, respectivement, égal, à domicile, à 50 % du montant du plafond mentionné à l'article L. 232-3-1 correspondant au degré de perte d'autonomie le plus important, et, en établissement, à 50 % du tarif afférent à la dépendance de l'établissement considéré applicable aux résidents classés dans les groupes iso-ressources 1 et 2. Cette avance s'impute sur les montants de l'allocation personnalisée d'autonomie versée ultérieurement.</code> | <code>Quel est le montant forfaitaire attribué lorsqu'une allocation est octroyée en application du troisième alinéa de l'article L. 232-12 et du cinquième alinéa de l'article L. 232-14, selon que l'allocation est perçue à domicile ou en établissement ?</code> |
+  | <code>La taxe devient exigible au moment où le poids lourd : 1° Entre sur le réseau, si la condition mentionnée au 1° de l'article L. 421-202 est remplie ; 2° Franchit un point de la section de tarification déterminé par l'autorité compétente, si cette même condition n'est pas remplie.</code>                                                                                                                                                                                                                                                                                                                                      | <code>Quel est le moment où la taxe devient exigible pour un poids lourd en fonction de son entrée dans le réseau ou de son franchissement d'un point de tarification déterminé ?</code>                                                                             |
+* Loss: [<code>MatryoshkaLoss</code>](https://sbert.net/docs/package_reference/sentence_transformer/losses.html#matryoshkaloss) with these parameters:
+  ```json
+  {
+      "loss": "MultipleNegativesRankingLoss",
+      "matryoshka_dims": [
+          768,
+          512,
+          256,
+          128,
+          64
+      ],
+      "matryoshka_weights": [
+          1,
+          1,
+          1,
+          1,
+          1
+      ],
+      "n_dims_per_step": -1
+  }
+  ```
+
+### Training Hyperparameters
+#### Non-Default Hyperparameters
+
+- `eval_strategy`: epoch
+- `per_device_train_batch_size`: 32
+- `per_device_eval_batch_size`: 16
+- `gradient_accumulation_steps`: 16
+- `learning_rate`: 2e-05
+- `num_train_epochs`: 4
+- `lr_scheduler_type`: cosine
+- `warmup_ratio`: 0.1
+- `bf16`: True
+- `tf32`: True
+- `load_best_model_at_end`: True
+- `optim`: adamw_torch_fused
+- `batch_sampler`: no_duplicates
+
+#### All Hyperparameters
+<details><summary>Click to expand</summary>
+
+- `overwrite_output_dir`: False
+- `do_predict`: False
+- `eval_strategy`: epoch
+- `prediction_loss_only`: True
+- `per_device_train_batch_size`: 32
+- `per_device_eval_batch_size`: 16
+- `per_gpu_train_batch_size`: None
+- `per_gpu_eval_batch_size`: None
+- `gradient_accumulation_steps`: 16
+- `eval_accumulation_steps`: None
+- `learning_rate`: 2e-05
+- `weight_decay`: 0.0
+- `adam_beta1`: 0.9
+- `adam_beta2`: 0.999
+- `adam_epsilon`: 1e-08
+- `max_grad_norm`: 1.0
+- `num_train_epochs`: 4
+- `max_steps`: -1
+- `lr_scheduler_type`: cosine
+- `lr_scheduler_kwargs`: {}
+- `warmup_ratio`: 0.1
+- `warmup_steps`: 0
+- `log_level`: passive
+- `log_level_replica`: warning
+- `log_on_each_node`: True
+- `logging_nan_inf_filter`: True
+- `save_safetensors`: True
+- `save_on_each_node`: False
+- `save_only_model`: False
+- `restore_callback_states_from_checkpoint`: False
+- `no_cuda`: False
+- `use_cpu`: False
+- `use_mps_device`: False
+- `seed`: 42
+- `data_seed`: None
+- `jit_mode_eval`: False
+- `use_ipex`: False
+- `bf16`: True
+- `fp16`: False
+- `fp16_opt_level`: O1
+- `half_precision_backend`: auto
+- `bf16_full_eval`: False
+- `fp16_full_eval`: False
+- `tf32`: True
+- `local_rank`: 0
+- `ddp_backend`: None
+- `tpu_num_cores`: None
+- `tpu_metrics_debug`: False
+- `debug`: []
+- `dataloader_drop_last`: False
+- `dataloader_num_workers`: 0
+- `dataloader_prefetch_factor`: None
+- `past_index`: -1
+- `disable_tqdm`: False
+- `remove_unused_columns`: True
+- `label_names`: None
+- `load_best_model_at_end`: True
+- `ignore_data_skip`: False
+- `fsdp`: []
+- `fsdp_min_num_params`: 0
+- `fsdp_config`: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
+- `fsdp_transformer_layer_cls_to_wrap`: None
+- `accelerator_config`: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
+- `deepspeed`: None
+- `label_smoothing_factor`: 0.0
+- `optim`: adamw_torch_fused
+- `optim_args`: None
+- `adafactor`: False
+- `group_by_length`: False
+- `length_column_name`: length
+- `ddp_find_unused_parameters`: None
+- `ddp_bucket_cap_mb`: None
+- `ddp_broadcast_buffers`: False
+- `dataloader_pin_memory`: True
+- `dataloader_persistent_workers`: False
+- `skip_memory_metrics`: True
+- `use_legacy_prediction_loop`: False
+- `push_to_hub`: False
+- `resume_from_checkpoint`: None
+- `hub_model_id`: None
+- `hub_strategy`: every_save
+- `hub_private_repo`: False
+- `hub_always_push`: False
+- `gradient_checkpointing`: False
+- `gradient_checkpointing_kwargs`: None
+- `include_inputs_for_metrics`: False
+- `eval_do_concat_batches`: True
+- `fp16_backend`: auto
+- `push_to_hub_model_id`: None
+- `push_to_hub_organization`: None
+- `mp_parameters`: 
+- `auto_find_batch_size`: False
+- `full_determinism`: False
+- `torchdynamo`: None
+- `ray_scope`: last
+- `ddp_timeout`: 1800
+- `torch_compile`: False
+- `torch_compile_backend`: None
+- `torch_compile_mode`: None
+- `dispatch_batches`: None
+- `split_batches`: None
+- `include_tokens_per_second`: False
+- `include_num_input_tokens_seen`: False
+- `neftune_noise_alpha`: None
+- `optim_target_modules`: None
+- `batch_eval_metrics`: False
+- `batch_sampler`: no_duplicates
+- `multi_dataset_batch_sampler`: proportional
+
+</details>
+
+### Training Logs
+| Epoch      | Step   | Training Loss | dim_128_cosine_map@100 | dim_256_cosine_map@100 | dim_512_cosine_map@100 | dim_64_cosine_map@100 | dim_768_cosine_map@100 |
+|:----------:|:------:|:-------------:|:----------------------:|:----------------------:|:----------------------:|:---------------------:|:----------------------:|
+| 0          | 0      | -             | 0.8447                 | 0.9084                 | 0.9190                 | 0.6362                | 0.9236                 |
+| 0.5674     | 10     | 5.322         | -                      | -                      | -                      | -                     | -                      |
+| 0.9645     | 17     | -             | 0.9353                 | 0.9413                 | 0.9488                 | 0.9197                | 0.9453                 |
+| 1.1348     | 20     | 0.3395        | -                      | -                      | -                      | -                     | -                      |
+| 1.7021     | 30     | 0.0929        | -                      | -                      | -                      | -                     | -                      |
+| 1.9858     | 35     | -             | 0.9517                 | 0.9571                 | 0.9631                 | 0.9357                | 0.9625                 |
+| 2.2695     | 40     | 0.0408        | -                      | -                      | -                      | -                     | -                      |
+| 2.8369     | 50     | 0.0264        | -                      | -                      | -                      | -                     | -                      |
+| 2.9504     | 52     | -             | 0.9513                 | 0.9579                 | 0.9634                 | 0.9357                | 0.9620                 |
+| 3.4043     | 60     | 0.0209        | -                      | -                      | -                      | -                     | -                      |
+| **3.8582** | **68** | **-**         | **0.9537**             | **0.9588**             | **0.9633**             | **0.9346**            | **0.9617**             |
+
+* The bold row denotes the saved checkpoint.
+
+### Framework Versions
+- Python: 3.10.12
+- Sentence Transformers: 3.1.1
+- Transformers: 4.41.2
+- PyTorch: 2.1.2+cu121
+- Accelerate: 0.34.2
+- Datasets: 2.19.1
+- Tokenizers: 0.19.1
+
+## Citation
+
+### BibTeX
+
+#### Sentence Transformers
+```bibtex
+@inproceedings{reimers-2019-sentence-bert,
+    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
+    author = "Reimers, Nils and Gurevych, Iryna",
+    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
+    month = "11",
+    year = "2019",
+    publisher = "Association for Computational Linguistics",
+    url = "https://arxiv.org/abs/1908.10084",
+}
+```
+
+#### MatryoshkaLoss
+```bibtex
+@misc{kusupati2024matryoshka,
+    title={Matryoshka Representation Learning},
+    author={Aditya Kusupati and Gantavya Bhatt and Aniket Rege and Matthew Wallingford and Aditya Sinha and Vivek Ramanujan and William Howard-Snyder and Kaifeng Chen and Sham Kakade and Prateek Jain and Ali Farhadi},
+    year={2024},
+    eprint={2205.13147},
+    archivePrefix={arXiv},
+    primaryClass={cs.LG}
+}
+```
+
+#### MultipleNegativesRankingLoss
+```bibtex
+@misc{henderson2017efficient,
+    title={Efficient Natural Language Response Suggestion for Smart Reply},
+    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
+    year={2017},
+    eprint={1705.00652},
+    archivePrefix={arXiv},
+    primaryClass={cs.CL}
+}
+```
+
+<!--
+## Glossary
+
+*Clearly define terms in order to be accessible across audiences.*
+-->
+
+<!--
+## Model Card Authors
+
+*Lists the people who create the model card, providing recognition and accountability for the detailed work that goes into its construction.*
+-->
+
+<!--
+## Model Card Contact
+
+*Provides a way for people who have updates to the Model Card, suggestions, or questions, to contact the Model Card authors.*
+-->

config.json

@@ -0,0 +1,28 @@
+{
+  "_name_or_path": "intfloat/multilingual-e5-base",
+  "architectures": [
+    "XLMRobertaModel"
+  ],
+  "attention_probs_dropout_prob": 0.1,
+  "bos_token_id": 0,
+  "classifier_dropout": null,
+  "eos_token_id": 2,
+  "hidden_act": "gelu",
+  "hidden_dropout_prob": 0.1,
+  "hidden_size": 768,
+  "initializer_range": 0.02,
+  "intermediate_size": 3072,
+  "layer_norm_eps": 1e-05,
+  "max_position_embeddings": 514,
+  "model_type": "xlm-roberta",
+  "num_attention_heads": 12,
+  "num_hidden_layers": 12,
+  "output_past": true,
+  "pad_token_id": 1,
+  "position_embedding_type": "absolute",
+  "torch_dtype": "float32",
+  "transformers_version": "4.41.2",
+  "type_vocab_size": 1,
+  "use_cache": true,
+  "vocab_size": 250002
+}

config_sentence_transformers.json

@@ -0,0 +1,10 @@
+{
+  "__version__": {
+    "sentence_transformers": "3.1.1",
+    "transformers": "4.41.2",
+    "pytorch": "2.1.2+cu121"
+  },
+  "prompts": {},
+  "default_prompt_name": null,
+  "similarity_fn_name": null
+}

model.safetensors

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:026d7118e322c9265204d9d146fa1b92d397bda8fa6b8190684e0d4b2e5d7b8a
+size 1112197096

modules.json

@@ -0,0 +1,20 @@
+[
+  {
+    "idx": 0,
+    "name": "0",
+    "path": "",
+    "type": "sentence_transformers.models.Transformer"
+  },
+  {
+    "idx": 1,
+    "name": "1",
+    "path": "1_Pooling",
+    "type": "sentence_transformers.models.Pooling"
+  },
+  {
+    "idx": 2,
+    "name": "2",
+    "path": "2_Normalize",
+    "type": "sentence_transformers.models.Normalize"
+  }
+]

sentence_bert_config.json

@@ -0,0 +1,4 @@
+{
+  "max_seq_length": 512,
+  "do_lower_case": false
+}

sentencepiece.bpe.model

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:cfc8146abe2a0488e9e2a0c56de7952f7c11ab059eca145a0a727afce0db2865
+size 5069051

special_tokens_map.json

@@ -0,0 +1,51 @@
+{
+  "bos_token": {
+    "content": "<s>",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "cls_token": {
+    "content": "<s>",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "eos_token": {
+    "content": "</s>",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "mask_token": {
+    "content": "<mask>",
+    "lstrip": true,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "pad_token": {
+    "content": "<pad>",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "sep_token": {
+    "content": "</s>",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "unk_token": {
+    "content": "<unk>",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  }
+}

tokenizer.json

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:883b037111086fd4dfebbbc9b7cee11e1517b5e0c0514879478661440f137085
+size 17082987

tokenizer_config.json

@@ -0,0 +1,54 @@
+{
+  "added_tokens_decoder": {
+    "0": {
+      "content": "<s>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "1": {
+      "content": "<pad>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "2": {
+      "content": "</s>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "3": {
+      "content": "<unk>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "250001": {
+      "content": "<mask>",
+      "lstrip": true,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    }
+  },
+  "bos_token": "<s>",
+  "clean_up_tokenization_spaces": true,
+  "cls_token": "<s>",
+  "eos_token": "</s>",
+  "mask_token": "<mask>",
+  "model_max_length": 512,
+  "pad_token": "<pad>",
+  "sep_token": "</s>",
+  "tokenizer_class": "XLMRobertaTokenizer",
+  "unk_token": "<unk>"
+}