SetFit with mini1013/master_domain

This is a SetFit model that can be used for Text Classification. This SetFit model uses mini1013/master_domain as the Sentence Transformer embedding model. A LogisticRegression instance is used for classification.

The model has been trained using an efficient few-shot learning technique that involves:

Fine-tuning a Sentence Transformer with contrastive learning.
Training a classification head with features from the fine-tuned Sentence Transformer.

Model Details

Model Description

Model Type: SetFit
Sentence Transformer body: mini1013/master_domain
Classification head: a LogisticRegression instance
Maximum Sequence Length: 512 tokens
Number of Classes: 6 classes

Model Sources

Repository: SetFit on GitHub
Paper: Efficient Few-Shot Learning Without Prompts
Blogpost: SetFit: Efficient Few-Shot Learning Without Prompts

Model Labels

Label	Examples
5.0	'초경량 국산 안경테 베타 울템 카본 티타늄 뿔테안경 551-599_S571-2 브라운투톤 ENA아이웨어' 'B019 ORIGINAL GLASS CRYSTAL GREEN ' '니시데카즈오 BROWLINE2 하금테 근적외선 차단렌즈 아이라이크(EYE LIKE)'
1.0	'레더렛소가죽선글라스파우치휴대용안경케이스 이정민' '위에 안경 쓰는 파우치 편광 끼우는 선글라스 3종 세트 선그라스 클립 에끼우는 플립 온 클립선글라스3종세트_일반블랙 홉포엘' '휴대용 가죽 선글라스 안경 파우치 케이스 보관함 안 PU안경케이스_그레이 라이프패션'
3.0	'아이업꽈배기인조가죽안경줄10p세트선글라스줄 유어드림커머스' '스트랩 캐주얼디자인줄 스토퍼줄 안경걸이 끈 B 더펭귄샵' '천연 크리스탈 안경 선글라스 걸이 줄 원석 비즈 빈티지 에스닉 마스크 스트랩 겸용 블루 3mm 70-75CM nouville'
0.0	'갤러리아 NIRNIR SUNGLASS 5 COLOR GREEN 갤러리아몰' '여자 켓아이 뿔테 선그라스 썬그라스 남자 RORGGE 2111 상품선택_2유광블랙 온달이' '뮤즈 서클 뿔테선글라스 코코아 푸치백'
2.0	'로에드 안경 자국 코패드 코받침 눌림 선글라스 코 통증 방지 패드 교체 스티커 안경코패드 1.8mm（화이트）_2.8mm(화이트) 로에드' '[힐포]국산 고급 초극세사 렌즈 안경닦이 김서림방지 클리너 크리너 악기수건 안경천 융s 05. knit 안경닦이30매 15x18cm_블루 모아텍스' '자우버 렌즈 케어 클리닝 티슈 200매 메디위'
4.0	'산리오 안경정리함 안경케이스 세트 6종 안경케이스시나모롤 지에이치글로벌' '(이거찜) 프리미엄 가죽 안경집 안경케이스 가죽안경집 스카이 제이케이' '스트랩 안경케이스 휴대용 안경파우치 가죽안경보관집 선글라스보관케이스 No.01 스트랩 안경케이스 블랙 여선영'

Evaluation

Metrics

Label	Metric
all	0.9104

Uses

Direct Use for Inference

First install the SetFit library:

pip install setfit

Then you can load this model and run inference.

from setfit import SetFitModel

# Download from the 🤗 Hub
model = SetFitModel.from_pretrained("mini1013/master_cate_ac4")
# Run inference
preds = model("밀착 스포츠안경줄 흔들림방지 안경스트랩  비앤비")

Training Details

Training Set Metrics

Training set	Min	Median	Max
Word count	3	9.53	20

Label	Training Sample Count
0.0	50
1.0	50
2.0	50
3.0	50
4.0	50
5.0	50

Training Hyperparameters

batch_size: (512, 512)
num_epochs: (20, 20)
max_steps: -1
sampling_strategy: oversampling
num_iterations: 40
body_learning_rate: (2e-05, 2e-05)
head_learning_rate: 2e-05
loss: CosineSimilarityLoss
distance_metric: cosine_distance
margin: 0.25
end_to_end: False
use_amp: False
warmup_proportion: 0.1
seed: 42
eval_max_steps: -1
load_best_model_at_end: False

Training Results

Epoch	Step	Training Loss	Validation Loss
0.0213	1	0.4524	-
1.0638	50	0.2583	-
2.1277	100	0.0642	-
3.1915	150	0.0781	-
4.2553	200	0.0806	-
5.3191	250	0.0391	-
6.3830	300	0.0011	-
7.4468	350	0.0003	-
8.5106	400	0.0001	-
9.5745	450	0.0001	-
10.6383	500	0.0	-
11.7021	550	0.0	-
12.7660	600	0.0	-
13.8298	650	0.0	-
14.8936	700	0.0	-
15.9574	750	0.0	-
17.0213	800	0.0	-
18.0851	850	0.0	-
19.1489	900	0.0	-

Framework Versions

Python: 3.10.12
SetFit: 1.1.0.dev0
Sentence Transformers: 3.1.1
Transformers: 4.46.1
PyTorch: 2.4.0+cu121
Datasets: 2.20.0
Tokenizers: 0.20.0

Citation

BibTeX

@article{https://doi.org/10.48550/arxiv.2209.11055,
    doi = {10.48550/ARXIV.2209.11055},
    url = {https://arxiv.org/abs/2209.11055},
    author = {Tunstall, Lewis and Reimers, Nils and Jo, Unso Eun Seo and Bates, Luke and Korat, Daniel and Wasserblat, Moshe and Pereg, Oren},
    keywords = {Computation and Language (cs.CL), FOS: Computer and information sciences, FOS: Computer and information sciences},
    title = {Efficient Few-Shot Learning Without Prompts},
    publisher = {arXiv},
    year = {2022},
    copyright = {Creative Commons Attribution 4.0 International}
}

mini1013
/

master_cate_ac4