--- library_name: setfit tags: - setfit - sentence-transformers - text-classification - generated_from_setfit_trainer metrics: - '0' - '1' - '2' - accuracy - macro avg - weighted avg widget: - text: 'L’armée, qui annonce avoir pris en tenaille la ville de Gaza, avance désormais à ses portes. Le long de la mer, les bombardements se sont multipliés et des échanges de tirs ont été entendus à la lisière nord du camp de réfugiés de Shati, vaste et miséreux fief du Hamas où a longtemps vécu le chef de son bureau politique, Ismaïl Hanniyeh, ainsi que plus au sud, dans le quartier cossu de Tel al-hawa, autour de l’hôpital Al-quds Au sud, enfin, des forces de la 36e division blindée, précédées par un bataillon de reconnaissance de la brigade Golani, ont traversé l’enclave pour atteindre la côte et isoler la ville de Gaza du reste du territoire. « Nos forces opèrent sous la forme de groupes tactiques combinant l’infanterie, le renseignement, la logistique et le génie, avec l’appui d’une puissante couverture aérienne», détaille le lieutenant-colonel Conricus » Le journaliste souligne par ailleurs que « l’heure tourne », et que chaque nouveau bombardement risque d’accroître la pression de la communauté internationale vis-à-vis d’israël Après d’intenses bombardements et une avancée prudente aux portes de Gaza, l’armée israélienne engage la phase critique de ses opérations, qui vise à traquer les combattants du Hamas dans leurs tunnels et leurs bunkers « Avec ses milliers d’accès vers la surface, qui permettent à l’ennemi de surgir derrière nos troupes pour leur tirer dessus avant de replonger sous terre, la forteresse de Gaza constitue un défi qu’aucune armée occidentale n’a jamais affronté », poursuit Giora Eiland. Ce week-end, les brigades Ezzedine al-qassam ont diffusé un montage enchaînant de courtes vidéos sur lesquelles des combattants, embusqués derrière les ruines d’un bâtiment bombardé ou tapis au coin d’une rue, tirent avec un lance-grenades RPG ou un missile antichar sur un blindé isolé » Selon l’armée israélienne, d’énormes quantités de ciment et de métal fournies par des bailleurs de fonds étrangers, afin de reconstruire l’enclave après de précédentes guerres, ont été détournées pour aménager plus de 500 kilomètres de tunnels reliant des bunkers enterrés parfois à plus de 50 mètres de profondeur Le ministre de la Défense, Yoav Gallant, affirme que l’armée progresse désormais «au coeur de Gaza-ville ». L’opération terrestre, pour l’heure circonscrite à la moitié nord de l’enclave, a débuté le 27 octobre par une manoeuvre d’encerclement organisée le long de trois axes distincts' - text: 'Au deuxième jour de leur sommet, les chefs d’État et de gouvernement de l’UE ont insisté sur le fait qu’il durerait aussi longtemps qu’il le faudra. Pourtant, quelques fractures sont apparues sur le front économique Au deuxième jour de leur sommet, les chefs d’État et de gouvernement de l’UE ont insisté sur le fait qu’il durerait aussi longtemps qu’il le faudra. Au deuxième jour de leur sommet, les chefs d’État et de gouvernement de l’UE ont insisté sur le fait qu’il durerait aussi longtemps qu’il le faudra Le débat sur l’aide à l’Ukraine s’inscrit dans une question plus large concernant l’argent dont l’UE a besoin pour augmenter son budget pluriannuel. Depuis qu’il a été convenu, de nouvelles dépenses ont été engagées pour faire face au Covid, à la guerre en Ukraine et à la hausse des taux d’intérêt Au deuxième jour de leur sommet, les chefs d’État et de gouvernement de l’UE ont insisté sur le fait qu’il durerait aussi longtemps qu’il le faudra' - text: 'On a le droit de voir un signe là où d’autres envisagent le hasard: le roi Pelé est mort le 29décembre 2022, onze jours après le couronnement de Lionel Messi, à Doha, en finale de la Coupe du monde, vive le roi. Vivent les rois: en devenant enfin champion du monde, à 35ans, l’Argentin est devenu le seul voisin du Brésilien, sur un trône à deux couronnes Lionel Messi a reçu hier son huitième Ballon d’Or. Un total stratosphérique qui place l’Argentin de 36 ans au-dessus de toute concurrence, et peut-être pour l’éternité L’attaquant argentin a reçu, hier à Paris, un huitième Ballon d’Or, sans doute le dernier, qui le place loin devant la concurrence. De Paris, Lionel Messi ne conserve pas que de bons souvenirs, mais jamais il n’y avait été autant acclamé pour marcher sous les projecteurs qu’hier soir aux alentours de 22 h 30, au théâtre du Châtelet, quand lui a été décerné le huitième Ballon d’Or de son immense carrière' - text: 'Réalité Gaston d’Orléans, le troisième fils d’Henri IV et de Marie de Médicis et le frère benjamin du roi Louis XIII, était un être instable et belliqueux qui passa sa vie à conspirer, à ourdir des complots contre son propre frère et le cardinal de Richelieu, puis contre sa belle-soeur Anne d’Autriche. Dans le film, c’est la conspiration de Chalais en 1626, visant le cardinal de Richelieu et Louis XIII, qui est reconstituée Dans le roman d’Alexandre Dumas, Constance Bonacieux, son héroïne de papier, est l’une des servantes loyales de la reine Anne d’Autriche. Soupçonnée d’espionnage, elle est enlevée sur ordre de Richelieu, sous les yeux de d’Artagnan, son chevalier servant' - text: 'Une vidéo qui a fait réagir Cristiano Ronaldo sur le réseau social. Le quintuple ballon d’or portugais, éternel rival de Messi, s’est fendu d’un commentaire avec quatre émojis «mort de rire», comme pour dénigrer les propose du journaliste Le quintuple ballon d’or a réagi à la vidéo d’un journaliste espagnol félicitant Lionel Messi' pipeline_tag: text-classification inference: true base_model: sentence-transformers/paraphrase-multilingual-mpnet-base-v2 model-index: - name: SetFit with sentence-transformers/paraphrase-multilingual-mpnet-base-v2 results: - task: type: text-classification name: Text Classification dataset: name: Unknown type: unknown split: test metrics: - type: '0' value: precision: 0.9102564102564102 recall: 0.8402366863905325 f1-score: 0.8738461538461538 support: 169 name: '0' - type: '1' value: precision: 0.9342465753424658 recall: 0.9551820728291317 f1-score: 0.9445983379501386 support: 714 name: '1' - type: '2' value: precision: 0.8734177215189873 recall: 0.8625 f1-score: 0.8679245283018868 support: 240 name: '2' - type: accuracy value: 0.9180765805877115 name: Accuracy - type: macro avg value: precision: 0.9059735690392877 recall: 0.8859729197398881 f1-score: 0.8954563400327263 support: 1123 name: Macro Avg - type: weighted avg value: precision: 0.9176363680252991 recall: 0.9180765805877115 f1-score: 0.9175646483426998 support: 1123 name: Weighted Avg --- # SetFit with sentence-transformers/paraphrase-multilingual-mpnet-base-v2 This is a [SetFit](https://github.com/huggingface/setfit) model that can be used for Text Classification. This SetFit model uses [sentence-transformers/paraphrase-multilingual-mpnet-base-v2](https://huggingface.co/sentence-transformers/paraphrase-multilingual-mpnet-base-v2) as the Sentence Transformer embedding model. A [LogisticRegression](https://scikit-learn.org/stable/modules/generated/sklearn.linear_model.LogisticRegression.html) instance is used for classification. The model has been trained using an efficient few-shot learning technique that involves: 1. Fine-tuning a [Sentence Transformer](https://www.sbert.net) with contrastive learning. 2. Training a classification head with features from the fine-tuned Sentence Transformer. ## Model Details ### Model Description - **Model Type:** SetFit - **Sentence Transformer body:** [sentence-transformers/paraphrase-multilingual-mpnet-base-v2](https://huggingface.co/sentence-transformers/paraphrase-multilingual-mpnet-base-v2) - **Classification head:** a [LogisticRegression](https://scikit-learn.org/stable/modules/generated/sklearn.linear_model.LogisticRegression.html) instance - **Maximum Sequence Length:** 128 tokens - **Number of Classes:** 3 classes ### Model Sources - **Repository:** [SetFit on GitHub](https://github.com/huggingface/setfit) - **Paper:** [Efficient Few-Shot Learning Without Prompts](https://arxiv.org/abs/2209.11055) - **Blogpost:** [SetFit: Efficient Few-Shot Learning Without Prompts](https://huggingface.co/blog/setfit) ### Model Labels | Label | Examples | |:------|:--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------| | pos | | | obj | | | neg | | ## Evaluation ### Metrics | Label | 0 | 1 | 2 | Accuracy | Macro Avg | Weighted Avg | |:--------|:----------------------------------------------------------------------------------------------------------------|:----------------------------------------------------------------------------------------------------------------|:----------------------------------------------------------------------------------------------------|:---------|:-----------------------------------------------------------------------------------------------------------------|:-----------------------------------------------------------------------------------------------------------------| | **all** | {'precision': 0.9102564102564102, 'recall': 0.8402366863905325, 'f1-score': 0.8738461538461538, 'support': 169} | {'precision': 0.9342465753424658, 'recall': 0.9551820728291317, 'f1-score': 0.9445983379501386, 'support': 714} | {'precision': 0.8734177215189873, 'recall': 0.8625, 'f1-score': 0.8679245283018868, 'support': 240} | 0.9181 | {'precision': 0.9059735690392877, 'recall': 0.8859729197398881, 'f1-score': 0.8954563400327263, 'support': 1123} | {'precision': 0.9176363680252991, 'recall': 0.9180765805877115, 'f1-score': 0.9175646483426998, 'support': 1123} | ## Uses ### Direct Use for Inference First install the SetFit library: ```bash pip install setfit ``` Then you can load this model and run inference. ```python from setfit import SetFitModel # Download from the 🤗 Hub model = SetFitModel.from_pretrained("mogaio/pr_ebsa_fr_merged25_offsets_10") # Run inference preds = model("Une vidéo qui a fait réagir Cristiano Ronaldo sur le réseau social. Le quintuple ballon d’or portugais, éternel rival de Messi, s’est fendu d’un commentaire avec quatre émojis «mort de rire», comme pour dénigrer les propose du journaliste Le quintuple ballon d’or a réagi à la vidéo d’un journaliste espagnol félicitant Lionel Messi") ``` ## Training Details ### Training Set Metrics | Training set | Min | Median | Max | |:-------------|:----|:---------|:-----| | Word count | 10 | 235.6465 | 1295 | | Label | Training Sample Count | |:------|:----------------------| | neg | 169 | | obj | 714 | | pos | 240 | ### Training Hyperparameters - batch_size: (8, 8) - num_epochs: (10, 10) - max_steps: -1 - sampling_strategy: oversampling - num_iterations: 1 - body_learning_rate: (2e-05, 1e-05) - head_learning_rate: 0.01 - loss: CosineSimilarityLoss - distance_metric: cosine_distance - margin: 0.25 - end_to_end: False - use_amp: False - warmup_proportion: 0.1 - seed: 42 - eval_max_steps: -1 - load_best_model_at_end: True ### Training Results | Epoch | Step | Training Loss | Validation Loss | |:-------:|:--------:|:-------------:|:---------------:| | 0.0036 | 1 | 0.2912 | - | | 0.1779 | 50 | 0.219 | - | | 0.3559 | 100 | 0.264 | - | | 0.5338 | 150 | 0.2899 | - | | 0.7117 | 200 | 0.2574 | - | | 0.8897 | 250 | 0.1979 | - | | 1.0 | 281 | - | 0.1788 | | 1.0676 | 300 | 0.2144 | - | | 1.2456 | 350 | 0.2309 | - | | 1.4235 | 400 | 0.1943 | - | | 1.6014 | 450 | 0.1899 | - | | 1.7794 | 500 | 0.1955 | - | | 1.9573 | 550 | 0.1374 | - | | 2.0 | 562 | - | 0.1413 | | 2.1352 | 600 | 0.2828 | - | | 2.3132 | 650 | 0.2386 | - | | 2.4911 | 700 | 0.1212 | - | | 2.6690 | 750 | 0.1412 | - | | 2.8470 | 800 | 0.1418 | - | | 3.0 | 843 | - | 0.0909 | | 3.0249 | 850 | 0.1157 | - | | 3.2028 | 900 | 0.1346 | - | | 3.3808 | 950 | 0.0552 | - | | 3.5587 | 1000 | 0.2629 | - | | 3.7367 | 1050 | 0.3486 | - | | 3.9146 | 1100 | 0.1163 | - | | 4.0 | 1124 | - | 0.0798 | | 4.0925 | 1150 | 0.0796 | - | | 4.2705 | 1200 | 0.0797 | - | | 4.4484 | 1250 | 0.0628 | - | | 4.6263 | 1300 | 0.0762 | - | | 4.8043 | 1350 | 0.1248 | - | | 4.9822 | 1400 | 0.1472 | - | | 5.0 | 1405 | - | 0.0728 | | 5.1601 | 1450 | 0.0439 | - | | 5.3381 | 1500 | 0.0818 | - | | 5.5160 | 1550 | 0.0327 | - | | 5.6940 | 1600 | 0.1214 | - | | 5.8719 | 1650 | 0.022 | - | | 6.0 | 1686 | - | 0.0598 | | 6.0498 | 1700 | 0.0012 | - | | 6.2278 | 1750 | 0.2772 | - | | 6.4057 | 1800 | 0.0996 | - | | 6.5836 | 1850 | 0.2456 | - | | 6.7616 | 1900 | 0.1857 | - | | 6.9395 | 1950 | 0.0844 | - | | 7.0 | 1967 | - | 0.0688 | | 7.1174 | 2000 | 0.0874 | - | | 7.2954 | 2050 | 0.0244 | - | | 7.4733 | 2100 | 0.0635 | - | | 7.6512 | 2150 | 0.1615 | - | | 7.8292 | 2200 | 0.1485 | - | | **8.0** | **2248** | **-** | **0.0594** | | 8.0071 | 2250 | 0.2025 | - | | 8.1851 | 2300 | 0.2224 | - | | 8.3630 | 2350 | 0.002 | - | | 8.5409 | 2400 | 0.0491 | - | | 8.7189 | 2450 | 0.0452 | - | | 8.8968 | 2500 | 0.021 | - | | 9.0 | 2529 | - | 0.0683 | | 9.0747 | 2550 | 0.2686 | - | | 9.2527 | 2600 | 0.0399 | - | | 9.4306 | 2650 | 0.0117 | - | | 9.6085 | 2700 | 0.2297 | - | | 9.7865 | 2750 | 0.0075 | - | | 9.9644 | 2800 | 0.0166 | - | | 10.0 | 2810 | - | 0.0649 | * The bold row denotes the saved checkpoint. ### Framework Versions - Python: 3.10.12 - SetFit: 1.0.1 - Sentence Transformers: 2.2.2 - Transformers: 4.35.2 - PyTorch: 2.1.0+cu121 - Datasets: 2.16.1 - Tokenizers: 0.15.0 ## Citation ### BibTeX ```bibtex @article{https://doi.org/10.48550/arxiv.2209.11055, doi = {10.48550/ARXIV.2209.11055}, url = {https://arxiv.org/abs/2209.11055}, author = {Tunstall, Lewis and Reimers, Nils and Jo, Unso Eun Seo and Bates, Luke and Korat, Daniel and Wasserblat, Moshe and Pereg, Oren}, keywords = {Computation and Language (cs.CL), FOS: Computer and information sciences, FOS: Computer and information sciences}, title = {Efficient Few-Shot Learning Without Prompts}, publisher = {arXiv}, year = {2022}, copyright = {Creative Commons Attribution 4.0 International} } ```