metadata
library_name: setfit
tags:
- setfit
- sentence-transformers
- text-classification
- generated_from_setfit_trainer
base_model: sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2
metrics:
- accuracy
widget:
- text: ' No, porque… no, depende de la causa siempre. Los abogados suelen ser buenos cuando se trata de defender una causa justa, lo que hablábamos, por ejemplo, de juzgar a Pinochet; pero si se trata de defender a un posible defraudador, por muy bueno que sea el abogado… '
- text: " Sí, sí, sí, pero es muy importante, o sea, que no se queden con la idea de que nosotros estamos en contra de los agricultores de Chihuahua porque hicieron el movimiento para que se entregara el agua a Estados Unidos y que por eso ya los tenemos castigados, no, no, ahí lo que pasó es que nosotros tenemos que cumplir porque es un convenio internacional y no nos convenía al país dar motivo para una represalia, porque nos iba a afectar mucho.\_ Entonces, teníamos una razón y ellos lo vieron de otra manera, y también se metieron politiqueros, que nunca faltan.\_ "
- text: " Ah, cómo no, si aquí no es obedecer y callar, no, así eran los vasallos.\_ No, no, no, aquí son las libertades. Nada más que es muy desagradable. Entonces, mejor, ya Isabel se manifestó, se expresó, merece respeto y la instancia legal correspondiente y hacia adelante, y procuremos, eso sí, no pierdo nada con llamar a la concordia, al respeto. Podemos tener diferencias, claro que las tenemos, ya lo hemos dicho muchas veces, no puede haber pensamiento único, esto tiene que ver con las dictaduras. La democracia es pluralidad, es diversidad, bueno, todo eso; o sea, sólo con respecto y sin violencia. "
- text: ' Con toda libertad. ¿Tú qué opinas? Con toda libertad, o sea, aquí prohibido prohibir. '
- text: "Â\_Es que hay muchas denuncias y hay que demostrar que tengan sustento, no se trata de denunciar por denunciar. Y yo apoyo a Ana Guevara, la considero una buena servidora pública, promotora del deporte. Y eso es lo que puedo comentarle, aunque respeto a los crÃticos y a quienes no opinan lo mismo. "
pipeline_tag: text-classification
inference: true
model-index:
- name: SetFit with sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2
results:
- task:
type: text-classification
name: Text Classification
dataset:
name: Unknown
type: unknown
split: test
metrics:
- type: accuracy
value: 0.5927835051546392
name: Accuracy
SetFit with sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2
This is a SetFit model that can be used for Text Classification. This SetFit model uses sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2 as the Sentence Transformer embedding model. A LogisticRegression instance is used for classification.
The model has been trained using an efficient few-shot learning technique that involves:
- Fine-tuning a Sentence Transformer with contrastive learning.
- Training a classification head with features from the fine-tuned Sentence Transformer.
Model Details
Model Description
- Model Type: SetFit
- Sentence Transformer body: sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2
- Classification head: a LogisticRegression instance
- Maximum Sequence Length: 128 tokens
- Number of Classes: 3 classes
Model Sources
- Repository: SetFit on GitHub
- Paper: Efficient Few-Shot Learning Without Prompts
- Blogpost: SetFit: Efficient Few-Shot Learning Without Prompts
Model Labels
| Label | Examples |
|---|---|
| 1 |
|
| 2 |
|
| 0 |
|
Evaluation
Metrics
| Label | Accuracy |
|---|---|
| all | 0.5928 |
Uses
Direct Use for Inference
First install the SetFit library:
pip install setfit
Then you can load this model and run inference.
from setfit import SetFitModel
# Download from the 🤗 Hub
model = SetFitModel.from_pretrained("alelov/test-model-label1-MiniLM")
# Run inference
preds = model(" Con toda libertad. ¿Tú qué opinas? Con toda libertad, o sea, aquí prohibido prohibir. ")
Training Details
Training Set Metrics
| Training set | Min | Median | Max |
|---|---|---|---|
| Word count | 10 | 109.8 | 608 |
| Label | Training Sample Count |
|---|---|
| 0 | 12 |
| 1 | 10 |
| 2 | 8 |
Training Hyperparameters
- batch_size: (16, 16)
- num_epochs: (4, 4)
- max_steps: -1
- sampling_strategy: oversampling
- body_learning_rate: (2e-05, 1e-05)
- head_learning_rate: 0.01
- loss: CosineSimilarityLoss
- distance_metric: cosine_distance
- margin: 0.25
- end_to_end: False
- use_amp: False
- warmup_proportion: 0.1
- seed: 42
- eval_max_steps: -1
- load_best_model_at_end: True
Training Results
| Epoch | Step | Training Loss | Validation Loss |
|---|---|---|---|
| 0.0270 | 1 | 0.2067 | - |
| 1.0 | 37 | - | 0.2984 |
| 1.3514 | 50 | 0.0431 | - |
| 2.0 | 74 | - | 0.2728 |
| 2.7027 | 100 | 0.0046 | - |
| 3.0 | 111 | - | 0.2651 |
| 4.0 | 148 | - | 0.2648 |
- The bold row denotes the saved checkpoint.
Framework Versions
- Python: 3.10.12
- SetFit: 1.0.3
- Sentence Transformers: 2.7.0
- Transformers: 4.40.1
- PyTorch: 2.2.1+cu121
- Datasets: 2.19.1
- Tokenizers: 0.19.1
Citation
BibTeX
@article{https://doi.org/10.48550/arxiv.2209.11055,
doi = {10.48550/ARXIV.2209.11055},
url = {https://arxiv.org/abs/2209.11055},
author = {Tunstall, Lewis and Reimers, Nils and Jo, Unso Eun Seo and Bates, Luke and Korat, Daniel and Wasserblat, Moshe and Pereg, Oren},
keywords = {Computation and Language (cs.CL), FOS: Computer and information sciences, FOS: Computer and information sciences},
title = {Efficient Few-Shot Learning Without Prompts},
publisher = {arXiv},
year = {2022},
copyright = {Creative Commons Attribution 4.0 International}
}