SetFit Polarity Model

This is a SetFit model that can be used for Aspect Based Sentiment Analysis (ABSA). A LogisticRegression instance is used for classification. In particular, this model is in charge of classifying aspect polarities.

The model has been trained using an efficient few-shot learning technique that involves:

Fine-tuning a Sentence Transformer with contrastive learning.
Training a classification head with features from the fine-tuned Sentence Transformer.

This model was trained within the context of a larger system for ABSA, which looks like so:

Use a spaCy model to select possible aspect span candidates.
Use a SetFit model to filter these possible aspect span candidates.
Use this SetFit model to classify the filtered aspect span candidates.

Model Details

Model Description

Model Type: SetFit
Classification head: a LogisticRegression instance
spaCy Model: id_core_news_trf
SetFitABSA Aspect Model: Funnyworld1412/ABSA_review_game_genshin-aspect
SetFitABSA Polarity Model: Funnyworld1412/ABSA_review_game_genshin-polarity
Maximum Sequence Length: 8192 tokens
Number of Classes: 2 classes

Model Sources

Repository: SetFit on GitHub
Paper: Efficient Few-Shot Learning Without Prompts
Blogpost: SetFit: Efficient Few-Shot Learning Without Prompts

Model Labels

Label	Examples
Negative	'kebanyakan npc teyvat story utama punya mc:saranku developer harus menciptakan sebuah story yang sangat menarik, agar tidak kehilangan para player karena masalahnya banyak player yg tidak bertahan lama karena repetitif dan monoton tiap update, size makin gede doang yg isinya cuma chest baru itupun sampah, puzzle yg makin lama makin rumit tapi chest nya sampah, story kebanyakan npc teyvat story utama punya mc dilupain gak difokusin , map kalo udah kosong ya nyampah bikin size gede doang. main 3 tahun rasanya monoton, perkembangan buruk' 'tolong ditambah lagi reward untuk gachanya,:tolong ditambah lagi reward untuk gachanya, untuk player lama kesulitan mendapatkan primo karena sudah tidak ada lagi quest dan eksplorasi juga sudah 100 . dasar developer kapitalis, game ini makin lama makin monoton dan tidak ramah untuk player lama yang kekurangan bahan untuk gacha karakter' 'aja... sampek event selesai primogemnya buat:cuman saran jangan terlalu pelit.. biar para player gak kabur sama game sebelah hadiah event quest di perbaiki.... udah nunggu event lama lama hadiah cuman gitu gitu aja... sampek event selesai primogemnya buat 10 pull gacha gak cukup.... tingakat kesulitan beda hadiah sama saja... lama lama yang main pada kabur kalok terlalu pelit.. dan 1 lagi jariang mohon di perbaiki untuk server indonya trimaksih'
Positive	'gameplay nya memang menarik:gameplay nya memang menarik tapi story questnya bikin boring setiap lagi menyelesaikan quest kepala saya selalu frustasi karna dialog yang gak ngotak panjangnya mana gak bisa di skip selain itu developer selalu pelit untuk memberikan hadiah,saya sudah tidak merasa senang lagi bermain game ini karna ke kikirannya,puzzle nya,dan questnya membuat otak saya pusing developer juga lama memberi respon saat ada bug harus tunggu viral dulu baru bug nya di benerin' 'mulai dari cerita story, sound effect:tolong jangan pelit lah hoyoverse sama pemain baru atau pemain yg lama yg main kembali karna pemain paling suka kalau banyak gratisan ntah itu artefak, primoge, character, atau pun item karna jujur saja sebagai pemain baru saya merasa kurang puas sama gamenya apalagi buat upgrade character itu harus kumpulan item yg kebanyakan susah didapat bagi pemain baru itu saya kekurangan dari game ini selebihnya bagus mulai dari cerita story, sound effect, maupun tampilan didalam game yg lumayan bagus' 'cerita story, sound effect, maupun tampilan:tolong jangan pelit lah hoyoverse sama pemain baru atau pemain yg lama yg main kembali karna pemain paling suka kalau banyak gratisan ntah itu artefak, primoge, character, atau pun item karna jujur saja sebagai pemain baru saya merasa kurang puas sama gamenya apalagi buat upgrade character itu harus kumpulan item yg kebanyakan susah didapat bagi pemain baru itu saya kekurangan dari game ini selebihnya bagus mulai dari cerita story, sound effect, maupun tampilan didalam game yg lumayan bagus'

Label

Examples

Negative

'kebanyakan npc teyvat story utama punya mc:saranku developer harus menciptakan sebuah story yang sangat menarik, agar tidak kehilangan para player karena masalahnya banyak player yg tidak bertahan lama karena repetitif dan monoton tiap update, size makin gede doang yg isinya cuma chest baru itupun sampah, puzzle yg makin lama makin rumit tapi chest nya sampah, story kebanyakan npc teyvat story utama punya mc dilupain gak difokusin , map kalo udah kosong ya nyampah bikin size gede doang. main 3 tahun rasanya monoton, perkembangan buruk'
'tolong ditambah lagi reward untuk gachanya,:tolong ditambah lagi reward untuk gachanya, untuk player lama kesulitan mendapatkan primo karena sudah tidak ada lagi quest dan eksplorasi juga sudah 100 . dasar developer kapitalis, game ini makin lama makin monoton dan tidak ramah untuk player lama yang kekurangan bahan untuk gacha karakter'
'aja... sampek event selesai primogemnya buat:cuman saran jangan terlalu pelit.. biar para player gak kabur sama game sebelah hadiah event quest di perbaiki.... udah nunggu event lama lama hadiah cuman gitu gitu aja... sampek event selesai primogemnya buat 10 pull gacha gak cukup.... tingakat kesulitan beda hadiah sama saja... lama lama yang main pada kabur kalok terlalu pelit.. dan 1 lagi jariang mohon di perbaiki untuk server indonya trimaksih'

Positive

'gameplay nya memang menarik:gameplay nya memang menarik tapi story questnya bikin boring setiap lagi menyelesaikan quest kepala saya selalu frustasi karna dialog yang gak ngotak panjangnya mana gak bisa di skip selain itu developer selalu pelit untuk memberikan hadiah,saya sudah tidak merasa senang lagi bermain game ini karna ke kikirannya,puzzle nya,dan questnya membuat otak saya pusing developer juga lama memberi respon saat ada bug harus tunggu viral dulu baru bug nya di benerin'
'mulai dari cerita story, sound effect:tolong jangan pelit lah hoyoverse sama pemain baru atau pemain yg lama yg main kembali karna pemain paling suka kalau banyak gratisan ntah itu artefak, primoge, character, atau pun item karna jujur saja sebagai pemain baru saya merasa kurang puas sama gamenya apalagi buat upgrade character itu harus kumpulan item yg kebanyakan susah didapat bagi pemain baru itu saya kekurangan dari game ini selebihnya bagus mulai dari cerita story, sound effect, maupun tampilan didalam game yg lumayan bagus'
'cerita story, sound effect, maupun tampilan:tolong jangan pelit lah hoyoverse sama pemain baru atau pemain yg lama yg main kembali karna pemain paling suka kalau banyak gratisan ntah itu artefak, primoge, character, atau pun item karna jujur saja sebagai pemain baru saya merasa kurang puas sama gamenya apalagi buat upgrade character itu harus kumpulan item yg kebanyakan susah didapat bagi pemain baru itu saya kekurangan dari game ini selebihnya bagus mulai dari cerita story, sound effect, maupun tampilan didalam game yg lumayan bagus'

Uses

Direct Use for Inference

First install the SetFit library:

pip install setfit

Then you can load this model and run inference.

from setfit import AbsaModel

# Download from the 🤗 Hub
model = AbsaModel.from_pretrained(
    "Funnyworld1412/ABSA_review_game_genshin-aspect",
    "Funnyworld1412/ABSA_review_game_genshin-polarity",
)
# Run inference
preds = model("The food was great, but the venue is just way too busy.")

Training Details

Training Set Metrics

Training set	Min	Median	Max
Word count	6	46.7275	98

Label	Training Sample Count
konflik	0
negatif	0
netral	0
positif	0

Training Hyperparameters

batch_size: (4, 4)
num_epochs: (1, 1)
max_steps: -1
sampling_strategy: oversampling
num_iterations: 10
body_learning_rate: (2e-05, 1e-05)
head_learning_rate: 0.01
loss: CosineSimilarityLoss
distance_metric: cosine_distance
margin: 0.25
end_to_end: False
use_amp: False
warmup_proportion: 0.1
seed: 42
eval_max_steps: -1
load_best_model_at_end: False

Training Results

Epoch	Step	Training Loss	Validation Loss
0.0004	1	0.2547	-
0.0210	50	0.2787	-
0.0419	100	0.002	-
0.0629	150	0.2062	-
0.0839	200	0.2148	-
0.1048	250	0.209	-
0.1258	300	0.1926	-
0.1468	350	0.2244	-
0.1677	400	0.0034	-
0.1887	450	0.2523	-
0.2096	500	0.0027	-
0.2306	550	0.001	-
0.2516	600	0.0016	-
0.2725	650	0.0011	-
0.2935	700	0.2077	-
0.3145	750	0.0025	-
0.3354	800	0.0014	-
0.3564	850	0.0011	-
0.3774	900	0.0028	-
0.3983	950	0.0004	-
0.4193	1000	0.0005	-
0.4403	1050	0.0011	-
0.4612	1100	0.0011	-
0.4822	1150	0.0007	-
0.5031	1200	0.0009	-
0.5241	1250	0.0161	-
0.5451	1300	0.0013	-
0.5660	1350	0.0003	-
0.5870	1400	0.0003	-
0.6080	1450	0.0005	-
0.6289	1500	0.0004	-
0.6499	1550	0.0003	-
0.6709	1600	0.0004	-
0.6918	1650	0.0005	-
0.7128	1700	0.0005	-
0.7338	1750	0.0003	-
0.7547	1800	0.0013	-
0.7757	1850	0.0004	-
0.7966	1900	0.0006	-
0.8176	1950	0.0003	-
0.8386	2000	0.0003	-
0.8595	2050	0.0005	-
0.8805	2100	0.0003	-
0.9015	2150	0.0005	-
0.9224	2200	0.0002	-
0.9434	2250	0.0003	-
0.9644	2300	0.0003	-
0.9853	2350	0.0002	-

Framework Versions

Python: 3.10.13
SetFit: 1.0.3
Sentence Transformers: 3.0.1
spaCy: 3.7.5
Transformers: 4.36.2
PyTorch: 2.1.2
Datasets: 2.19.2
Tokenizers: 0.15.2

Citation

BibTeX

@article{https://doi.org/10.48550/arxiv.2209.11055,
    doi = {10.48550/ARXIV.2209.11055},
    url = {https://arxiv.org/abs/2209.11055},
    author = {Tunstall, Lewis and Reimers, Nils and Jo, Unso Eun Seo and Bates, Luke and Korat, Daniel and Wasserblat, Moshe and Pereg, Oren},
    keywords = {Computation and Language (cs.CL), FOS: Computer and information sciences, FOS: Computer and information sciences},
    title = {Efficient Few-Shot Learning Without Prompts},
    publisher = {arXiv},
    year = {2022},
    copyright = {Creative Commons Attribution 4.0 International}
}