metadata

library_name: setfit
tags:
  - setfit
  - sentence-transformers
  - text-classification
  - generated_from_setfit_trainer
metrics:
  - '0'
  - '1'
  - '2'
  - accuracy
  - macro avg
  - weighted avg
widget:
  - text: >-
      À la période de questions hier, Justin Trudeau a annoncé qu’il appuierait
      une motion du Bloc québécois demandant au gouvernement de « revoir ses
      cibles d’immigration dès 2024 »
  - text: >-
      Bad Bunny a sorti hier Nadie Sabe Lo Que Va a Pasar Mañana « Personne ne
      sait ce qui se passera demain », son cinquième album studio qui fait suite
      à Un Verano Sin Ti paru en 2022
  - text: >-
      Ce jour-là, en plein Shabbat, le repos juif hebdo‐ madaire, des centaines
      de combattants du Hamas se sont infiltrés depuis Gaza sur le sol
      israélien, où ils ont com‐ mis l'attaque la plus meur‐ trière dans
      l'histoire d'Israël. - Rappel de diplomates L'intensification des bom‐
      bardements sur Gaza a coïnci‐ dé avec une coupure des communications et
      internet, compliquant encore la tâche des humanitaires La communauté
      interna‐ tionale redoute un embrase‐ ment régional, alors que l'Iran,
      soutien du Hamas et du Hezbollah libanais, a lancé des avertissements aux
      EtatsUnis, proche allié d'Israël.

      La tension est aussi très vive en Cisjordanie occupée depuis 1967, où plus
      de 100 Palestiniens ont été tués par des soldats ou des colons is‐
      raéliens depuis le 7 octobre Israël a intensifié son offensive contre la
      bande de Gaza et averti que sa guerre contre le Hamas serait "longue et
      difficile", malgré les appels à une désescalade face aux "souf‐ frances
      intolérables" des populations civiles palestiniennes selon la Croix-Rouge
      Désormais est engagée "la deuxième étape de la guerre, dont l'objectif est
      clair: dé‐ truire les capacités militaires et la direction du Hamas; ra‐
      mener les otages à la maison", a affirmé M - "Les familles veulent des
      réponses" Leurs proches sont de plus en plus mécontents de l'"in‐
      certitude absolue" à laquelle ils sont confrontés quant à leur sort, en
      particulier lors des bombardements inten‐ sifs, a déclaré Haim Rubin‐
      stein, leur porte-parole Désormais est engagée "la deuxième étape de la
      guerre, dont l'objectif est clair: dé‐ truire les capacités militaires et
      la direction du Hamas; ra‐ mener les otages à la maison", a affirmé M.
      Netanyahu après avoir rencontré les familles des captifs du Hamas, dont
      Is‐ raël estime le nombre à 230 Le Hamas, au pouvoir à Gaza depuis 2007,
      affirme lui que plus de 8.000 Palesti‐ niens, dont la moitié sont des
      enfants, ont été tuées dans les bombardements israéliens depuis le début
      du conflit il y a un peu plus de trois se‐ maines L'armée israélienne a
      fait état de "plusieurs terroristes du Hamas tués" dont un res‐ ponsable
      "ayant pris part à l'organisation du massacre du 7 octobre".

      Israël veut "anéantir" le mouvement islamiste, en re‐ présailles à
      l'attaque du 7 oc‐ tobre Le chef du Hamas à Gaza, Yahya Sinouar, qui s'est
      expri‐ mé samedi soir pour la pre‐ mière fois depuis le 7 octobre, a
      déclaré être prêt "à immé‐ diatement conclure un échange pour faire
      libérer tous les prisonniers dans les prisons de l'ennemi sioniste contre
      tous les otages"
  - text: >-
      Sheila la Française est devenue une artiste internationale en se classant
      à plusieurs reprises dans le Billboard américain Sheila fête ses 60 ans de
      carrière avec un album et une tournée. Une carrière jalonnée de nombreux
      tubes, passant du yéyé au disco, de la pop au rock, avec pas moins de 26
      albums, qui se sont écoulés à plus de 85 millions d’exemplaires À peine la
      date annoncée, les réservations ont été rapides et nombreuses pour le
      concert que la chanteuse Sheila va donner au casino de Pornic, le samedi
      23 mars 2024. La salle va bientôt afficher complet, il est donc temps pour
      les derniers indécis de profiter des derniers billets encore disponibles À
      peine la date annoncée, les réservations ont été rapides et nombreuses
      pour le concert que la chanteuse Sheila va donner au casino de Pornic, le
      samedi 23 mars 2024
  - text: >-
      Bien plus puissants, ils ont régulièrement gagné la ligne d’avantage pour
      mettre à mal la défense des Rouge et Noir Si l’Afrique du Sud a pu réussir
      l’exploit de remporter une deuxième Coupe du monde consécutive samedi face
      à la Nouvelle-Zélande (12-11), la nation arc-en-ciel s’est appuyée sur un
      banc XXL pour faire la différence
pipeline_tag: text-classification
inference: true
base_model: sentence-transformers/paraphrase-multilingual-mpnet-base-v2
model-index:
  - name: SetFit with sentence-transformers/paraphrase-multilingual-mpnet-base-v2
    results:
      - task:
          type: text-classification
          name: Text Classification
        dataset:
          name: Unknown
          type: unknown
          split: test
        metrics:
          - type: '0'
            value:
              precision: 0.6666666666666666
              recall: 0.3076923076923077
              f1-score: 0.42105263157894735
              support: 39
            name: '0'
          - type: '1'
            value:
              precision: 0.7757847533632287
              recall: 0.8871794871794871
              f1-score: 0.8277511961722488
              support: 195
            name: '1'
          - type: '2'
            value:
              precision: 0.525
              recall: 0.44680851063829785
              f1-score: 0.48275862068965514
              support: 47
            name: '2'
          - type: accuracy
            value: 0.7330960854092526
            name: Accuracy
          - type: macro avg
            value:
              precision: 0.6558171400099652
              recall: 0.5472267685033643
              f1-score: 0.5771874828136171
              support: 281
            name: Macro Avg
          - type: weighted avg
            value:
              precision: 0.7186940459282192
              recall: 0.7330960854092526
              f1-score: 0.7136021034077625
              support: 281
            name: Weighted Avg

SetFit with sentence-transformers/paraphrase-multilingual-mpnet-base-v2

This is a SetFit model that can be used for Text Classification. This SetFit model uses sentence-transformers/paraphrase-multilingual-mpnet-base-v2 as the Sentence Transformer embedding model. A LogisticRegression instance is used for classification.

The model has been trained using an efficient few-shot learning technique that involves:

Fine-tuning a Sentence Transformer with contrastive learning.
Training a classification head with features from the fine-tuned Sentence Transformer.

Model Details

Model Description

Model Type: SetFit
Sentence Transformer body: sentence-transformers/paraphrase-multilingual-mpnet-base-v2
Classification head: a LogisticRegression instance
Maximum Sequence Length: 128 tokens
Number of Classes: 3 classes

Model Sources

Repository: SetFit on GitHub
Paper: Efficient Few-Shot Learning Without Prompts
Blogpost: SetFit: Efficient Few-Shot Learning Without Prompts

Model Labels

Label	Examples
pos	'Avec, entre autres, « Un homme et une femme », « L’aventure, c’est l’aventure », « La bonne année », «Les uns et les autres» ou «Itinéraire d’un enfant gâté », il reste l’un des cinéastes préférés des Français Claude Lelouch «JE SUIS UN CINÉASTE AMATEUR, PAS UN PROFESSIONNEL DU CINÉMA !»\nJOURNAL DE FRANCE : Claude, comment vous est venue l’idée de ce spectacle « Ciné Spectacle\nSymphonique» ?\nCLAUDE LELOUCH : On est venu me proposer ce projet que j’ai trouvé tout de suite formidable, à savoir de revisiter mes 50 films à travers la musique et les bandes originales, interprétées par un grand orchestre symphonique' '- Camions bloqués Au onzième jour de siège complet par Israël, les 2,4 mil‐ lions d'habitants de Gaza manquent de nourriture, d'eau potable, de médica‐ ments et de carburant Le Hamas a libéré vendredi soir deux Américaines qu'il avait enlevées le 7 octobre lors de son attaque meur‐ trière contre Israël, une lueur d'espoir pour les quelque 200 otages encore retenus à Gaza, où des mil‐ lions de Palestiniens conti‐ nuent d'attendre l'arrivée de l'aide humanitaire ur‐ gente.\nLes deux femmes, une mère et sa fille, ont été relâ‐ chées après une médiation du Qatar 137 Palestiniens, majoritai‐ rement des civils, ont été tués dans les bombardements in‐ cessants menés en repré‐ sailles par l'armée israélienne, selon le ministère de la Santé du Hamas à Gaza Israël a autorisé, à la de‐ mande des Etats-Unis, l'entrée d'aide via Rafah, seule issue de Gaza sur le monde qu'il ne contrôle pas. A condition qu'elle n'arrive qu'aux "civils".\nLe Croissant Rouge palesti‐ nien a par ailleurs fait état d'une menace de bombarde‐ ment israélien contre l'hôpital\nAl-Quds, dans le nord de la bande de Gaza, mais s'est dé‐ claré "incapable" d'évacuer l'établissement qui héberge quelque 500 patients dans la zone de l'enclave la plus dure‐ ment frappée par l'armée is‐ raélienne A terme, Israël envisage parmi les scénarios possibles de "remettre les clés" de la bande de Gaza à une partie tierce qui pourrait être l'Egypte, sans aucune garantie que Le Caire accepte ce scéna‐ rio repoussé depuis des dé‐ cennies, a affirmé une source au ministère des Affaires étrangères israélien à l'AFP Le Croissant Rouge palesti‐ nien a par ailleurs fait état d'une menace de bombarde‐ ment israélien contre l'hôpital\nAl-Quds, dans le nord de la bande de Gaza, mais s'est dé‐ claré "incapable" d'évacuer l'établissement qui héberge quelque 500 patients dans la zone de l'enclave la plus dure‐ ment frappée par l'armée is‐ raélienne "Ces camions ne sont pas seulement des camions, ils sont une bouée de sauvetage, ils font la différence entre la vie et la mort pour de nom‐ breuses personnes à Gaza", a déclaré le secrétaire général de l'ONU Antonio Guterres en supervisant personnellement les opérations à Rafah ven‐ dredi - Camions bloqués Au onzième jour de siège complet par Israël, les 2,4 mil‐ lions d'habitants de Gaza manquent de nourriture, d'eau potable, de médica‐ ments et de carburant. Et ce alors qu'environ 175 camions d'aide humanitaire restent bloqués du côté égyptien de la frontière, au terminal de Ra‐ fah 400 personnes ont été tuées sur le territoire israélien par les hommes du Hamas depuis le 7 octobre, en majorité des civils fauchés par balles, brûlés vifs ou morts de mutilations au premier jour de l'attaque des combattants du mouvement islamiste pa‐ lestinien menée à partir de Gaza, selon les autorités israé‐ liennes.\nSelon l'armée israélienne, environ 1.500 combattants du Hamas ont été tués dans la contre-offensive ayant permis à Israël de reprendre le contrôle des zones attaquées Le Hamas a libéré vendredi soir deux Américaines qu'il avait enlevées le 7 octobre lors de son attaque meur‐ trière contre Israël, une lueur d'espoir pour les quelque 200 otages encore retenus à Gaza, où des mil‐ lions de Palestiniens conti‐ nuent d'attendre l'arrivée de l'aide humanitaire ur‐ gente "J'ai peur que les destruc‐ tions actuelles suivent un plan clair, que les gens ne trouvent pas d'endroit où vivre et que cela provoque une deuxième Nakba", s'in‐ quiète à Gaza Omar Ashour, un général à la retraite, en ré‐ férence à l'expulsion d'environ 760.000 Palestiniens à la créa‐ tion d'Israël' 'En septembre, son legs était couronné par la sortie, en coffret, de l’intégrale de ses oeuvres, Cétoului : Rachid Taha, régime intégral. Cette effervescence ne pouvait laisser indifférent son vieux pote Burger, qui a programmé, du 19 au 22 octobre, un hommage ponctué de concerts, rencontres, lectures et tables rondes Le samedi sera projeté Rachid Taha, rockeur sans frontières, du réalisateur Thierry Guedj, avant que l’historien Jean-pierre Filiu, admirateur du musicien, donne une conférence sur les liens méconnus entre l’alsace et l’algérie, suivie d’une table ronde Depuis 2001, Saintemarie-aux-mines, ville alsacienne au nom délicieusement cathoprolo, nichée au creux d’une vallée vosgienne, accueille le bien nommé festival C’est dans la vallée, créé et toujours dirigé par un natif du coin, le musicien Rodolphe Burger, fondateur de Kat Onoma, groupe de rock phare de la charnière 1980-1990, et fureteur de sonorités nouvelles C’est avec eux que Rachid Taha a donné son dernier concert à Marseille, quelques jours avant sa mort, et des sessions programmées en studio'
obj	'Elon Musk estime que le télétravail est moralement répréhensible. Google a récemment inclus l’assiduité au bureau dans l’évaluation des performances de ses employés' '"Nous allons entrer dans Gaza, nous allons le faire pour un but opérationnel, détruire les infrastructures et les terro‐ ristes du Hamas, et nous al‐ lons le faire de manière pro‐ fessionnelle", a affirmé same‐ di lors d'une revue des troupes le chef d'état-major israélien, le général Herzi Ha‐ levi - Situation "catastro‐ phique" à Gaza Mais les bombardements se poursuivent aussi dans les parties méridionales de l'en‐ clave. Les autorités du Hamas ont ainsi fait état de neuf morts lors d'une frappe à Khan Younès dans la nuit de samedi à dimanche Samedi, un convoi de vingt camions transportant de l'aide humanitaire est entré dans l'enclave depuis l'Egypte par le poste-frontière de Ra‐ fah, la seule issue de la bande de Gaza qui ne soit pas contrôlée par Israël, qui a été à nouveau fermé ensuite.\nMais selon le Bureau des affaires humanitaires de l'ONU (OCHA), ces vingt ca‐ mions n'équivalent qu'à 4% des importations quoti‐ diennes de Gaza avant le dé‐ but des hostilités, et au moins 100 camions par jour sont né‐ cessaires pour améliorer la si‐ tuation 400 personnes ont été tuées sur le territoire israélien par les hommes du Hamas depuis le 7 octobre, en majorité des civils fauchés par balles, brûlés vifs ou morts de mutilations au premier jour de l'attaque des combattants du mouvement islamiste pa‐ lestinien menée à partir de Gaza, selon les autorités israé‐ liennes.\nDans la bande de Gaza, au moins 4.385 Palestiniens, ma‐ joritairement des civils, ont été tués dans les bombarde‐ ments incessants menés en représailles par l'armée israé‐ lienne, selon le ministère de la Santé du Hamas Soumise à un blocus israé‐ lien terrestre, aérien et mari‐ time depuis que le Hamas y a pris le pouvoir en 2007, la bande de Gaza est placée de‐ puis le 9 octobre en état de "siège complet" par Israël qui y a coupé l'eau, l'électricité et l'approvisionnement en nour‐ riture Israël a ordonné le 15 oc‐ tobre aux civils du nord de la bande de Gaza de fuir vers le sud du territoire pour se mettre à l'abri de ses bombar‐ dements contre le Hamas.\n- Situation "catastro‐ phique" à Gaza Mais les bombardements se poursuivent aussi dans les parties méridionales de l'en‐ clave 385 Palestiniens, ma‐ joritairement des civils, ont été tués dans les bombarde‐ ments incessants menés en représailles par l'armée israé‐ lienne, selon le ministère de la Santé du Hamas "Dès aujourd'hui, nous al‐ lons augmenter les frappes" sur la bande de Gaza, a préve‐ nu samedi le général Daniel Hagari, porte-parole de l'ar‐ mée israélienne, le but étant selon lui de "réduire les risques pour nos forces dans les prochaines étapes" du conflit - Famille décimée A six kilomètres de la fron‐ tière avec Gaza, le kibboutz de Beeri, où les commandos du Hamas ont massacré au moins 100 personnes le 7 oc‐ tobre, se prépare à de nou‐ veaux enterrements di‐ manche Au moins 42% des loge‐ ments de la bande de Gaza ont été détruits ou endom‐ magés depuis le début du conflit, selon l'OCHA. - Renforcement américain Autre foyer de tension, le nord d'Israël, où les échanges de tirs se multiplient entre l'armée israélienne et le Hez‐ bollah pro-iranien, allié du Ha‐ mas et basé dans le sud du Li‐ ban "Gaza est complexe, Gaza est densément peuplé, l'enne‐ mi y prépare beaucoup de choses, mais nous nous pré‐ parons aussi pour lui", a pré‐ venu le général Halevi Mais selon le Bureau des affaires humanitaires de l'ONU (OCHA), ces vingt ca‐ mions n'équivalent qu'à 4% des importations quoti‐ diennes de Gaza avant le dé‐ but des hostilités, et au moins 100 camions par jour sont né‐ cessaires pour améliorer la si‐ tuation.\nAu moins 42% des loge‐ ments de la bande de Gaza ont été détruits ou endom‐ magés depuis le début du conflit, selon l'OCHA "Ce qu'on voit à la télévi‐ sion, les massacres qui ont lieu à Gaza, les enfants, ça nous brise le coeur", déclare Moustafa el-Sayyed, 53 ans, parti avec ses deux femmes et ses onze enfants de Beit Lif, un petit village situé à moins de six kilomètres de la fron‐ tière avec Israël' 'Elle implique des coopérations », a expliqué mercredi soir Emmanuel Macron à l’issue de son voyage au Proche-Orient. La veille, il avait proposé la mise d’une coalition régionale et internationale sur le modèle de celle qui lutte contre Daech au Levant « La bonne réponse est de coopérer, de tirer les enseignements de la coalition contre Daech, contre lequel nous sommes engagés depuis plusieurs années », formule désormais Emmanuel Macron. Le chef de l’Etat ne parle plus de « coalition » mais de « coopération », notamment en matière de renseignement, ce que pratique déjà Israël Au lendemain de sa proposition de mise en place d’une coalition internationale, sur le modèle de celle utilisée en Irak et en Syrie pour lutter contre Daech, Emmanuel Macron a rétropédalé mercredi lors de son allocution au Caire au côté du président égyptien, Abdel Fattah alSissi A Ramallah, à Amman et au Caire, Emmanuel Macron a pu éprouver la révolte profonde des populations. Des manifestations ont eu lieu dans les deux premières capitales où son effigie a été brûlée Chez Macron, il y a aussi toujours cette propension à relier la politique étrangère à la scène intérieure française.\nCette volonté perpétuelle d’être au centre du jeu et de recherche immédiate de résultats a parfois trahi le président français dans le passé, comme en Libye où il voulait des élections à tout prix et au Liban où il poussait un agenda politique que la classe politique locale n’était pas prête à accepter Mercredi au Caire, le président français a insisté sur le soutien humanitaire et la recherche d’une solution politique\n« Ce que je suis venu dire, c’est que la lute contre le terrorisme n’est pas l’affaire d’un seul pays Au terme d’une tournée au ProcheOrient qui l’aura mené en Israël, en Palestine, en Jordanie et enfin en Egypte, Emmanuel Macron s’est envolé pour Paris mercredi soir sans avoir pu obtenir la libération des otages. Paris cherchera à avoir un siège à la table des négociations, une fois la guerre achevée, pour remettre sur les rails le processus de paix israélo-palestiniens'
neg	'Ni LFI, ni le RN n’ont leur place dans la lutte contre l’antisémitisme. Ces deux limites auraient dû être posées dès le départ. Au sein de la communauté juive, j’ai longtemps plaidé pour maintenir le dialogue avec Jean-Luc Mélenchon et ses sympathisants Dans sa stratégie de dédiabolisation, le RN récupère et instrumentalise une frustration existante dans la communauté juive. Or, il est devenu facile de diaboliser LFI RAFAËL AMSELEM est chargé d’études pour GenerationLibre, un think tank libéral Le philosémitisme du RN n’est qu’une façon de taper sur les musulmans sur fond de choc des civilisations. Quand les héritiers de Jean-Marie Le Pen auront fini de prendre les musulmans pour cibles, ils s’attaqueront aux juifs pour ce qu’ils ont toujours été aux yeux de l’extrême droite : un agent étranger Cette tenaille identitaire est d’autant plus préoccupante que Jean-Luc Mélenchon est en train de laisser le RN se faire le premier défenseur des juifs. Dans sa stratégie de dédiabolisation, le RN récupère et instrumentalise une frustration existante dans la communauté juive' 'L’avocate a demandé au tribunal de prononcer une série d’injonctions à l’adresse de GSK afin d’abolir ce qu’elle considère comme une discrimination, soit cesser d’organiser des contacts, réunions et informations de chaque délégation syndicale (celle des ouvriers et des employés) de manière séparée, entendez par là que la société privilégie les représentants syndicaux de la FGTB réunis sans que ceux de la CSC ne soient admis dans le saint des saints En ouvrant mardi matin l’audience du tribunal du travail du Brabant wallon siégeant à Wavre, la présidente Mariella Forêt résuma en ces termes le différend qui oppose les verts et les rouges au travers de GSK : « Ce n’est pas l’amour fou entre eux… »\nPour la petite histoire, on relèvera qu’elle demanda aux avocats intervenants d’excuser les conditions dans lesquelles elle les accueillait, au premier étage d’un immeuble du centre-ville La CSC et la CNE accusent la société rixensartoise de discrimination au profit de la FGTB qui est largement représentée en son sein Dans la foulée, l’avocat JeanPhilippe Cordier prit la parole pour GSK. « En trente ans de barreau, je n’ai jamais entendu autant de contre-vérités. C’est digne d’un bac à sable' 'Israël a répliqué lundi avec des frappes aériennes sur la bande de Gaza et un siège complet de ce territoire palestinien, alors que le Hamas menace d’exécuter les otages saisis lors de son incursion armée si les attaques ne cessent pas Outre l’attaque contre le festival, le Hamas a tiré des roquettes — plus de 4500, selon Israël — depuis la bande de Gaza vers les localités israéliennes voisines et jusque vers TelAviv et Jérusalem »\nIsraël a aussi pilonné la bande de Gaza, d’où ont surgi la majorité des combattants du Hamas au petit matin, samedi La réplique de cette attaque surprise exécutée dès samedi matin par les combattants du Hamas depuis Gaza sur plusieurs fronts sera d’une « force sans précédent », a déclaré lundi le premier ministre israélien, Benjamin Nétanyahou, dans une allocution télévisée Du côté palestinien, 687 personnes ont été tuées et 3700 blessées, selon le ministère de la Santé de la bande de Gaza.\n« À ma connaissance, depuis la Shoah, il n’y a jamais eu autant de Juifs tués en un seul jour », a déclaré le président israélien, Isaac Herzog, dans une vidéo Il s’est dit « bouleversé par l’annonce du « siège total » imposé par Israël à la bande de Gaza, tout comme l’organisation Human Rights Watch, qui a qualifié la décision d’« odieuse » : « Priver la population d’un territoire occupé de nourriture et d’électricité est un châtiment collectif, ce qui constitue un crime de guerre Son armée a ainsi ordonné, lundi, un « siège complet » de Gaza, ce qui signifie pas d’électricité, pas d’eau, pas de gaz, pas de nourriture, a précisé lundi le ministre israélien de la Défense, Yoav Gallant Trois jours après le début d’une offensive sanglante du Hamas en territoire israélien, le monde assiste, horrifié, à une escalade des hostilités Parmi les victimes en territoire israélien, au moins 250 ont été massacrées sur le site d’un festival de musique techno dans le désert, à quelques kilomètres à peine de la bande de Gaza, dans le sud d’Israël. Des témoins ont décrit un terrifiant carnage, et des jeunes courant à travers le désert dans toutes les directions pour fuir les balles qui sifflaient autour d’eux Profitant de l’effet de surprise, des combattants du Hamas à bord de véhicules, de bateaux et même de parapentes motorisés se sont joués de l’imposante barrière de sécurité érigée par Israël autour de Gaza, attaquant des positions militaires ou des civils en pleine rue.\nLe Hamas a aussi procédé à prendre des otages parmi les soldats et même les civils trouvés sur son passage et à les ramener dans la bande de Gaza, un territoire qu’il contrôle depuis 2007 Le Hamas a aussi procédé à prendre des otages parmi les soldats et même les civils trouvés sur son passage et à les ramener dans la bande de Gaza, un territoire qu’il contrôle depuis 2007. Israël estime que 150 des siens sont captifs'

Evaluation

Metrics

Label	0	1	2	Accuracy	Macro Avg	Weighted Avg
all	{'precision': 0.6666666666666666, 'recall': 0.3076923076923077, 'f1-score': 0.42105263157894735, 'support': 39}	{'precision': 0.7757847533632287, 'recall': 0.8871794871794871, 'f1-score': 0.8277511961722488, 'support': 195}	{'precision': 0.525, 'recall': 0.44680851063829785, 'f1-score': 0.48275862068965514, 'support': 47}	0.7331	{'precision': 0.6558171400099652, 'recall': 0.5472267685033643, 'f1-score': 0.5771874828136171, 'support': 281}	{'precision': 0.7186940459282192, 'recall': 0.7330960854092526, 'f1-score': 0.7136021034077625, 'support': 281}

Uses

Direct Use for Inference

First install the SetFit library:

pip install setfit

Then you can load this model and run inference.

from setfit import SetFitModel

# Download from the 🤗 Hub
model = SetFitModel.from_pretrained("mogaio/pr_ebsa_fr_merged25_offsets_10_v3")
# Run inference
preds = model("À la période de questions hier, Justin Trudeau a annoncé qu’il appuierait une motion du Bloc québécois demandant au gouvernement de « revoir ses cibles d’immigration dès 2024 »")

Training Details

Training Set Metrics

Training set	Min	Median	Max
Word count	10	235.6465	1295

Label	Training Sample Count
neg	169
obj	714
pos	240

Training Hyperparameters

batch_size: (8, 8)
num_epochs: (10, 10)
max_steps: -1
sampling_strategy: oversampling
num_iterations: 1
body_learning_rate: (2e-05, 1e-05)
head_learning_rate: 0.01
loss: CosineSimilarityLoss
distance_metric: cosine_distance
margin: 0.25
end_to_end: False
use_amp: False
warmup_proportion: 0.1
seed: 42
eval_max_steps: -1
load_best_model_at_end: True

Training Results

Epoch	Step	Training Loss	Validation Loss
0.0036	1	0.3128	-
0.1779	50	0.2449	-
0.3559	100	0.2471	-
0.5338	150	0.26	-
0.7117	200	0.258	-
0.8897	250	0.1668	-
1.0	281	-	0.2278
1.0676	300	0.2036	-
1.2456	350	0.2461	-
1.4235	400	0.2549	-
1.6014	450	0.1996	-
1.7794	500	0.313	-
1.9573	550	0.1067	-
2.0	562	-	0.2794
2.1352	600	0.1623	-
2.3132	650	0.2994	-
2.4911	700	0.1289	-
2.6690	750	0.1241	-
2.8470	800	0.1911	-
3.0	843	-	0.2847
3.0249	850	0.1494	-
3.2028	900	0.2158	-
3.3808	950	0.0482	-
3.5587	1000	0.2409	-
3.7367	1050	0.107	-
3.9146	1100	0.0541	-
4.0	1124	-	0.2872
4.0925	1150	0.207	-
4.2705	1200	0.0872	-
4.4484	1250	0.0585	-
4.6263	1300	0.0563	-
4.8043	1350	0.0877	-
4.9822	1400	0.1131	-
5.0	1405	-	0.2658
5.1601	1450	0.0195	-
5.3381	1500	0.0242	-
5.5160	1550	0.0421	-
5.6940	1600	0.1088	-
5.8719	1650	0.0466	-
6.0	1686	-	0.2974
6.0498	1700	0.0015	-
6.2278	1750	0.2859	-
6.4057	1800	0.0812	-
6.5836	1850	0.1842	-
6.7616	1900	0.1373	-
6.9395	1950	0.0897	-
7.0	1967	-	0.3125
7.1174	2000	0.1438	-
7.2954	2050	0.0349	-
7.4733	2100	0.0169	-
7.6512	2150	0.0684	-
7.8292	2200	0.1792	-
8.0	2248	-	0.3182
8.0071	2250	0.1537	-
8.1851	2300	0.2513	-
8.3630	2350	0.0015	-
8.5409	2400	0.0492	-
8.7189	2450	0.0692	-
8.8968	2500	0.0491	-
9.0	2529	-	0.3037
9.0747	2550	0.2146	-
9.2527	2600	0.0087	-
9.4306	2650	0.0462	-
9.6085	2700	0.1676	-
9.7865	2750	0.0041	-
9.9644	2800	0.0193	-
10.0	2810	-	0.3227

The bold row denotes the saved checkpoint.

Framework Versions

Python: 3.10.12
SetFit: 1.0.1
Sentence Transformers: 2.2.2
Transformers: 4.35.2
PyTorch: 2.1.0+cu121
Datasets: 2.16.1
Tokenizers: 0.15.0

Citation

BibTeX

@article{https://doi.org/10.48550/arxiv.2209.11055,
    doi = {10.48550/ARXIV.2209.11055},
    url = {https://arxiv.org/abs/2209.11055},
    author = {Tunstall, Lewis and Reimers, Nils and Jo, Unso Eun Seo and Bates, Luke and Korat, Daniel and Wasserblat, Moshe and Pereg, Oren},
    keywords = {Computation and Language (cs.CL), FOS: Computer and information sciences, FOS: Computer and information sciences},
    title = {Efficient Few-Shot Learning Without Prompts},
    publisher = {arXiv},
    year = {2022},
    copyright = {Creative Commons Attribution 4.0 International}
}