metadata
library_name: setfit
tags:
- setfit
- sentence-transformers
- text-classification
- generated_from_setfit_trainer
metrics:
- '0'
- '1'
- '2'
- accuracy
- macro avg
- weighted avg
widget:
- text: >-
L’armée, qui annonce avoir pris en tenaille la ville de Gaza, avance
désormais à ses portes. Le long de la mer, les bombardements se sont
multipliés et des échanges de tirs ont été entendus à la lisière nord du
camp de réfugiés de Shati, vaste et miséreux fief du Hamas où a longtemps
vécu le chef de son bureau politique, Ismaïl Hanniyeh, ainsi que plus au
sud, dans le quartier cossu de Tel al-hawa, autour de l’hôpital Al-quds Au
sud, enfin, des forces de la 36e division blindée, précédées par un
bataillon de reconnaissance de la brigade Golani, ont traversé l’enclave
pour atteindre la côte et isoler la ville de Gaza du reste du territoire.
« Nos forces opèrent sous la forme de groupes tactiques combinant
l’infanterie, le renseignement, la logistique et le génie, avec l’appui
d’une puissante couverture aérienne», détaille le lieutenant-colonel
Conricus »
Le journaliste souligne par ailleurs que « l’heure tourne », et que chaque
nouveau bombardement risque d’accroître la pression de la communauté
internationale vis-à-vis d’israël Après d’intenses bombardements et une
avancée prudente aux portes de Gaza, l’armée israélienne engage la phase
critique de ses opérations, qui vise à traquer les combattants du Hamas
dans leurs tunnels et leurs bunkers « Avec ses milliers d’accès vers la
surface, qui permettent à l’ennemi de surgir derrière nos
troupes pour leur tirer dessus avant de replonger sous terre, la
forteresse de Gaza constitue un défi qu’aucune armée occidentale n’a
jamais affronté », poursuit Giora Eiland.
Ce week-end, les brigades Ezzedine al-qassam ont diffusé un montage
enchaînant de courtes vidéos sur lesquelles des combattants, embusqués
derrière les ruines d’un bâtiment bombardé ou tapis au coin d’une rue,
tirent avec un lance-grenades RPG ou un missile antichar sur un blindé
isolé » Selon l’armée israélienne, d’énormes quantités de ciment et de
métal fournies par des bailleurs de fonds étrangers, afin de reconstruire
l’enclave après de précédentes guerres, ont été détournées pour aménager
plus de 500 kilomètres de tunnels reliant des bunkers enterrés parfois à
plus de 50 mètres de profondeur Le ministre de la Défense, Yoav Gallant,
affirme que l’armée progresse désormais «au coeur de Gaza-ville ».
L’opération terrestre, pour l’heure circonscrite à la moitié nord de
l’enclave, a débuté le 27 octobre par une manoeuvre d’encerclement
organisée le long de trois axes distincts
- text: >-
Au deuxième jour de leur sommet, les chefs d’État et de gouvernement de
l’UE ont insisté sur le fait qu’il durerait aussi longtemps qu’il le
faudra.
Pourtant, quelques fractures sont apparues sur le front économique Au
deuxième jour de leur sommet, les chefs d’État et de gouvernement de l’UE
ont insisté sur le fait qu’il durerait aussi longtemps qu’il le faudra.
Au deuxième jour de leur sommet, les chefs d’État et de gouvernement de
l’UE ont insisté sur le fait qu’il durerait aussi longtemps qu’il le
faudra Le débat sur l’aide à l’Ukraine s’inscrit dans une question plus
large concernant l’argent dont l’UE a besoin pour augmenter son budget
pluriannuel. Depuis qu’il a été convenu, de nouvelles dépenses ont été
engagées pour faire face au Covid, à la guerre en Ukraine et à la hausse
des taux d’intérêt Au deuxième jour de leur sommet, les chefs d’État et de
gouvernement de l’UE ont insisté sur le fait qu’il durerait aussi
longtemps qu’il le faudra
- text: >-
On a le droit de voir un signe là où d’autres envisagent le hasard: le roi
Pelé est mort le 29décembre 2022, onze jours après le couronnement de
Lionel Messi, à Doha, en finale de la Coupe du monde, vive le roi. Vivent
les rois: en devenant enfin champion du monde, à 35ans, l’Argentin est
devenu le seul voisin du Brésilien, sur un trône à deux couronnes Lionel
Messi a reçu hier son huitième Ballon d’Or. Un total stratosphérique qui
place l’Argentin de 36 ans au-dessus de toute concurrence, et peut-être
pour l’éternité L’attaquant argentin a reçu, hier à Paris, un huitième
Ballon d’Or, sans doute le dernier, qui le place loin devant la
concurrence.
De Paris, Lionel Messi ne conserve pas que de bons souvenirs, mais jamais
il n’y avait été autant acclamé pour marcher sous les projecteurs qu’hier
soir aux alentours de 22 h 30, au théâtre du Châtelet, quand lui a été
décerné le huitième Ballon d’Or de son immense carrière
- text: >-
Réalité
Gaston d’Orléans, le troisième fils d’Henri IV et de Marie de Médicis et
le frère benjamin du roi Louis XIII, était un être instable et belliqueux
qui passa sa vie à conspirer, à ourdir des complots contre son propre
frère et le cardinal de Richelieu, puis contre sa belle-soeur Anne
d’Autriche. Dans le film, c’est la conspiration de Chalais en 1626, visant
le cardinal de Richelieu et Louis XIII, qui est reconstituée Dans le roman
d’Alexandre Dumas, Constance Bonacieux, son héroïne de papier, est l’une
des servantes loyales de la reine Anne d’Autriche. Soupçonnée
d’espionnage, elle est enlevée sur ordre de Richelieu, sous les yeux de
d’Artagnan, son chevalier servant
- text: >-
Une vidéo qui a fait réagir
Cristiano Ronaldo sur le réseau social. Le quintuple ballon d’or
portugais, éternel rival de Messi, s’est fendu d’un commentaire avec
quatre émojis «mort de rire», comme pour dénigrer les propose du
journaliste Le quintuple ballon d’or a réagi à la vidéo d’un journaliste
espagnol félicitant
Lionel Messi
pipeline_tag: text-classification
inference: true
base_model: sentence-transformers/paraphrase-multilingual-mpnet-base-v2
model-index:
- name: SetFit with sentence-transformers/paraphrase-multilingual-mpnet-base-v2
results:
- task:
type: text-classification
name: Text Classification
dataset:
name: Unknown
type: unknown
split: test
metrics:
- type: '0'
value:
precision: 0.9102564102564102
recall: 0.8402366863905325
f1-score: 0.8738461538461538
support: 169
name: '0'
- type: '1'
value:
precision: 0.9342465753424658
recall: 0.9551820728291317
f1-score: 0.9445983379501386
support: 714
name: '1'
- type: '2'
value:
precision: 0.8734177215189873
recall: 0.8625
f1-score: 0.8679245283018868
support: 240
name: '2'
- type: accuracy
value: 0.9180765805877115
name: Accuracy
- type: macro avg
value:
precision: 0.9059735690392877
recall: 0.8859729197398881
f1-score: 0.8954563400327263
support: 1123
name: Macro Avg
- type: weighted avg
value:
precision: 0.9176363680252991
recall: 0.9180765805877115
f1-score: 0.9175646483426998
support: 1123
name: Weighted Avg
SetFit with sentence-transformers/paraphrase-multilingual-mpnet-base-v2
This is a SetFit model that can be used for Text Classification. This SetFit model uses sentence-transformers/paraphrase-multilingual-mpnet-base-v2 as the Sentence Transformer embedding model. A LogisticRegression instance is used for classification.
The model has been trained using an efficient few-shot learning technique that involves:
- Fine-tuning a Sentence Transformer with contrastive learning.
- Training a classification head with features from the fine-tuned Sentence Transformer.
Model Details
Model Description
- Model Type: SetFit
- Sentence Transformer body: sentence-transformers/paraphrase-multilingual-mpnet-base-v2
- Classification head: a LogisticRegression instance
- Maximum Sequence Length: 128 tokens
- Number of Classes: 3 classes
Model Sources
- Repository: SetFit on GitHub
- Paper: Efficient Few-Shot Learning Without Prompts
- Blogpost: SetFit: Efficient Few-Shot Learning Without Prompts
Model Labels
Label | Examples |
---|---|
pos |
|
obj |
|
neg |
|
Evaluation
Metrics
Label | 0 | 1 | 2 | Accuracy | Macro Avg | Weighted Avg |
---|---|---|---|---|---|---|
all | {'precision': 0.9102564102564102, 'recall': 0.8402366863905325, 'f1-score': 0.8738461538461538, 'support': 169} | {'precision': 0.9342465753424658, 'recall': 0.9551820728291317, 'f1-score': 0.9445983379501386, 'support': 714} | {'precision': 0.8734177215189873, 'recall': 0.8625, 'f1-score': 0.8679245283018868, 'support': 240} | 0.9181 | {'precision': 0.9059735690392877, 'recall': 0.8859729197398881, 'f1-score': 0.8954563400327263, 'support': 1123} | {'precision': 0.9176363680252991, 'recall': 0.9180765805877115, 'f1-score': 0.9175646483426998, 'support': 1123} |
Uses
Direct Use for Inference
First install the SetFit library:
pip install setfit
Then you can load this model and run inference.
from setfit import SetFitModel
# Download from the 🤗 Hub
model = SetFitModel.from_pretrained("mogaio/pr_ebsa_fr_merged25_offsets_10")
# Run inference
preds = model("Une vidéo qui a fait réagir
Cristiano Ronaldo sur le réseau social. Le quintuple ballon d’or portugais, éternel rival de Messi, s’est fendu d’un commentaire avec quatre émojis «mort de rire», comme pour dénigrer les propose du journaliste Le quintuple ballon d’or a réagi à la vidéo d’un journaliste espagnol félicitant
Lionel Messi")
Training Details
Training Set Metrics
Training set | Min | Median | Max |
---|---|---|---|
Word count | 10 | 235.6465 | 1295 |
Label | Training Sample Count |
---|---|
neg | 169 |
obj | 714 |
pos | 240 |
Training Hyperparameters
- batch_size: (8, 8)
- num_epochs: (10, 10)
- max_steps: -1
- sampling_strategy: oversampling
- num_iterations: 1
- body_learning_rate: (2e-05, 1e-05)
- head_learning_rate: 0.01
- loss: CosineSimilarityLoss
- distance_metric: cosine_distance
- margin: 0.25
- end_to_end: False
- use_amp: False
- warmup_proportion: 0.1
- seed: 42
- eval_max_steps: -1
- load_best_model_at_end: True
Training Results
Epoch | Step | Training Loss | Validation Loss |
---|---|---|---|
0.0036 | 1 | 0.2912 | - |
0.1779 | 50 | 0.219 | - |
0.3559 | 100 | 0.264 | - |
0.5338 | 150 | 0.2899 | - |
0.7117 | 200 | 0.2574 | - |
0.8897 | 250 | 0.1979 | - |
1.0 | 281 | - | 0.1788 |
1.0676 | 300 | 0.2144 | - |
1.2456 | 350 | 0.2309 | - |
1.4235 | 400 | 0.1943 | - |
1.6014 | 450 | 0.1899 | - |
1.7794 | 500 | 0.1955 | - |
1.9573 | 550 | 0.1374 | - |
2.0 | 562 | - | 0.1413 |
2.1352 | 600 | 0.2828 | - |
2.3132 | 650 | 0.2386 | - |
2.4911 | 700 | 0.1212 | - |
2.6690 | 750 | 0.1412 | - |
2.8470 | 800 | 0.1418 | - |
3.0 | 843 | - | 0.0909 |
3.0249 | 850 | 0.1157 | - |
3.2028 | 900 | 0.1346 | - |
3.3808 | 950 | 0.0552 | - |
3.5587 | 1000 | 0.2629 | - |
3.7367 | 1050 | 0.3486 | - |
3.9146 | 1100 | 0.1163 | - |
4.0 | 1124 | - | 0.0798 |
4.0925 | 1150 | 0.0796 | - |
4.2705 | 1200 | 0.0797 | - |
4.4484 | 1250 | 0.0628 | - |
4.6263 | 1300 | 0.0762 | - |
4.8043 | 1350 | 0.1248 | - |
4.9822 | 1400 | 0.1472 | - |
5.0 | 1405 | - | 0.0728 |
5.1601 | 1450 | 0.0439 | - |
5.3381 | 1500 | 0.0818 | - |
5.5160 | 1550 | 0.0327 | - |
5.6940 | 1600 | 0.1214 | - |
5.8719 | 1650 | 0.022 | - |
6.0 | 1686 | - | 0.0598 |
6.0498 | 1700 | 0.0012 | - |
6.2278 | 1750 | 0.2772 | - |
6.4057 | 1800 | 0.0996 | - |
6.5836 | 1850 | 0.2456 | - |
6.7616 | 1900 | 0.1857 | - |
6.9395 | 1950 | 0.0844 | - |
7.0 | 1967 | - | 0.0688 |
7.1174 | 2000 | 0.0874 | - |
7.2954 | 2050 | 0.0244 | - |
7.4733 | 2100 | 0.0635 | - |
7.6512 | 2150 | 0.1615 | - |
7.8292 | 2200 | 0.1485 | - |
8.0 | 2248 | - | 0.0594 |
8.0071 | 2250 | 0.2025 | - |
8.1851 | 2300 | 0.2224 | - |
8.3630 | 2350 | 0.002 | - |
8.5409 | 2400 | 0.0491 | - |
8.7189 | 2450 | 0.0452 | - |
8.8968 | 2500 | 0.021 | - |
9.0 | 2529 | - | 0.0683 |
9.0747 | 2550 | 0.2686 | - |
9.2527 | 2600 | 0.0399 | - |
9.4306 | 2650 | 0.0117 | - |
9.6085 | 2700 | 0.2297 | - |
9.7865 | 2750 | 0.0075 | - |
9.9644 | 2800 | 0.0166 | - |
10.0 | 2810 | - | 0.0649 |
- The bold row denotes the saved checkpoint.
Framework Versions
- Python: 3.10.12
- SetFit: 1.0.1
- Sentence Transformers: 2.2.2
- Transformers: 4.35.2
- PyTorch: 2.1.0+cu121
- Datasets: 2.16.1
- Tokenizers: 0.15.0
Citation
BibTeX
@article{https://doi.org/10.48550/arxiv.2209.11055,
doi = {10.48550/ARXIV.2209.11055},
url = {https://arxiv.org/abs/2209.11055},
author = {Tunstall, Lewis and Reimers, Nils and Jo, Unso Eun Seo and Bates, Luke and Korat, Daniel and Wasserblat, Moshe and Pereg, Oren},
keywords = {Computation and Language (cs.CL), FOS: Computer and information sciences, FOS: Computer and information sciences},
title = {Efficient Few-Shot Learning Without Prompts},
publisher = {arXiv},
year = {2022},
copyright = {Creative Commons Attribution 4.0 International}
}