README.md

metadata

base_model: sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2
datasets: []
language: []
library_name: sentence-transformers
pipeline_tag: sentence-similarity
tags:
  - sentence-transformers
  - sentence-similarity
  - feature-extraction
  - generated_from_trainer
  - dataset_size:1800
  - loss:ContrastiveLoss
widget:
  - source_sentence: ' हैरतअंगेज... अद्भुत, नामुमकिन के बराबर है क्रिकेट की दुनिया के इन 6 वर्ल्ड रिकॉर्ड्स को तोड़ना '
    sentences:
      - >-
        हैरतअंगेज... अद्भुत, नामुमकिन के बराबर है क्रिकेट की दुनिया के इन 6
        वर्ल्ड रिकॉर्ड्स को तोड़ना
      - >-
        Gajendra Singh Shekhawat: 53 की उम्र में गजेंद्र सिंह शेखावत का दिखा
        अनोखा जज्बा, 12 हजार मीटर की ऊंचाई से लगाई छलांग
      - >-
        ब्रह्मांड की शुरुआत में प्रकाश कहां से आया? क्या भगवान ने स्विच दबाया?
        विज्ञान ने खोला राज
  - source_sentence: ' बिना बाजू की ड्रेस, कंधे तक के इयरिंग और अदाएं भर-भरकर...शमा सिकंदर का फोटोशूट है बवाल '
    sentences:
      - >-
        एक दिन में ही 'बिग बॉस' के घर से बेघर हुए वाइल्ड कार्ड कंटेस्टेंट अदनान
        शेख? तोड़ा शो का एक बड़ा नियम
      - >-
        बिना बाजू की ड्रेस, कंधे तक के इयरिंग और अदाएं भर-भरकर...शमा सिकंदर का
        फोटोशूट है बवाल
      - >-
        Joe Biden Address: ‘अमेरिका इस रास्ते पर नहीं चल सकता’- ट्रंप पर हमले के
        बाद राष्ट्रपति बाइडेन का राष्ट्र के नाम संबोधन
  - source_sentence: ' GK Quiz: भारत के वो कौन से राज्य हैं, जिनकी दो राजधानी हैं? '
    sentences:
      - >-
        Vastu Tips: घर के मुख्य दरवाजे पर ये एक चीज लटकाने से दौड़ी आएंगी मां
        लक्ष्मी, पैसों की तंगी से मिलेगा छुटकारा
      - 'GK Quiz: भारत के वो कौन से राज्य हैं, जिनकी दो राजधानी हैं?'
      - >-
        बारिश के मौसम में हाजमा बिगाड़ देते हैं ये दाल, जानें मानसून के लिए
        कौन-से Pulses हैं बेस्ट
  - source_sentence: ' Devshayani Ekadashi 2024: देवशयनी एकादशी पर किए ये 5 काम करते हैं चुंबक का काम, चौतरफा होगा धन आगमन '
    sentences:
      - >-
        Devshayani Ekadashi 2024: देवशयनी एकादशी पर किए ये 5 काम करते हैं चुंबक
        का काम, चौतरफा होगा धन आगमन
      - >-
        अनंत-राधिका की शादी में अनन्या पांडे संग जमकर नाचे हार्दिक पंड्या, VIDEO
        हो रहा खूब वायरल
      - >-
        सचिन के करियर का सबसे बड़ा दर्द, मास्टर ब्लास्टर ने इस वजह से खुद को ही
        कप्तानी से हटा दिया
  - source_sentence: ' Team India : पूरा भरोसा हम चैंपियन बनेंगे... अब चैंपियंस ट्रॉफी और WTC की बारी, जय शाह का बड़ा बयान; कौन होगा कप्तान? '
    sentences:
      - >-
        Team India : कौन होगा टीम इंडिया का नया बॉलिंग कोच? विनय कुमार नहीं! इस
        वर्ल्ड कप विनर की खुल सकती है किस्मत
      - >-
        MPPSC Vacancy 2024: एमपी में निकली 690 पदों पर भर्ती, 40 साल तक के
        कैंडिडेट्स कर सकते हैं आवेदन
      - >-
        Samsung Galaxy Ring हुई लॉन्च, 9 साइज और 3 कलर ऑप्शन में मिलेगी, जानें
        फीचर्स

SentenceTransformer based on sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2

This is a sentence-transformers model finetuned from sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2. It maps sentences & paragraphs to a 384-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2
• Maximum Sequence Length: 128 tokens
• Output Dimensionality: 384 tokens
• Similarity Function: Cosine Similarity

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 128, 'do_lower_case': False}) with Transformer model: BertModel 
  (1): Pooling({'word_embedding_dimension': 384, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("amorfati/custom-hindi-emb-model-contrastive")
# Run inference
sentences = [
    ' Team India : पूरा भरोसा हम चैंपियन बनेंगे... अब चैंपियंस ट्रॉफी और WTC की बारी, जय शाह का बड़ा बयान; कौन होगा कप्तान? ',
    'Team India : कौन होगा टीम इंडिया का नया बॉलिंग कोच? विनय कुमार नहीं! इस वर्ल्ड कप विनर की खुल सकती है किस्मत',
    'Samsung Galaxy Ring हुई लॉन्च, 9 साइज और 3 कलर ऑप्शन में मिलेगी, जानें फीचर्स',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 384]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Training Details

Training Dataset

Unnamed Dataset

• Size: 1,800 training samples
• Columns: premise, hypothesis, and label
• Approximate statistics based on the first 1000 samples:

  	premise	hypothesis	label
  type	string	string	int
  details	min: 12 tokens mean: 31.99 tokens max: 52 tokens	min: 12 tokens mean: 31.68 tokens max: 52 tokens	0: 100.00%

• Samples:

  premise	hypothesis	label
  पति से छिपकर पत्नी का करना चाहिए ये काम, सुधा मूर्ति की ये बात संवार देगी आपकी शादी	Bangladeshi Hindus: 'हिंदू बन गए हैं आसान टारेगट' - ढाका में हमलों के बाद बांग्लादेशी हिंदू ने बताया देश का 'काला सच'	0
  फर्जी कॉल, SMS से लेकर WhatsApp मैसेज तक, Chakshu पोर्टल पर करें हर फ्रॉड की शिकायत, होगी कार्रवाई	विदेशी Trucks में ड्राइवर को सिर्फ AC ही नहीं बल्कि, मिलती हैं ये लग्जरी सुविधाएं	0
  GK Quiz: कौन सा जीव है जिसे अपनी मौत आने से पहले उसे पता चल जाता है?	Indian Army Recruitment 2024: इंडियन आर्मी में निकली डायरेक्ट भर्ती, हवलदार समेत इन पदों पर मिलेगी नौकरी	0

• Loss: ContrastiveLoss with these parameters:

  {
      "distance_metric": "SiameseDistanceMetric.COSINE_DISTANCE",
      "margin": 0.5,
      "size_average": true
  }
  

Evaluation Dataset

Unnamed Dataset

• Size: 200 evaluation samples
• Columns: premise, hypothesis, and label
• Approximate statistics based on the first 1000 samples:

  	premise	hypothesis	label
  type	string	string	int
  details	min: 12 tokens mean: 31.98 tokens max: 61 tokens	min: 12 tokens mean: 32.0 tokens max: 61 tokens	1: 100.00%

• Samples:

  premise	hypothesis	label
  Vastu Tips: घर के मुख्य दरवाजे पर ये एक चीज लटकाने से दौड़ी आएंगी मां लक्ष्मी, पैसों की तंगी से मिलेगा छुटकारा	Vastu Tips: घर के मुख्य दरवाजे पर ये एक चीज लटकाने से दौड़ी आएंगी मां लक्ष्मी, पैसों की तंगी से मिलेगा छुटकारा	1
  CLAT 2025: कल से शुरू हो रही रज‍िस्‍ट्रेशन प्रक्र‍िया, अप्‍लाई करने के ल‍िए क्‍या योग्‍यता चाह‍िए; क्‍या होगा एग्‍जाम पैटर्न और क‍ितनी होगी फीस जानें	CLAT 2025: कल से शुरू हो रही रज‍िस्‍ट्रेशन प्रक्र‍िया, अप्‍लाई करने के ल‍िए क्‍या योग्‍यता चाह‍िए; क्‍या होगा एग्‍जाम पैटर्न और क‍ितनी होगी फीस जानें	1
  XAT 2025: 15 जुलाई से शुरू होंगे रजिस्ट्रेशन, जानें कैसे भरें एप्लिकेशन फॉर्म	XAT 2025: 15 जुलाई से शुरू होंगे रजिस्ट्रेशन, जानें कैसे भरें एप्लिकेशन फॉर्म	1

• Loss: ContrastiveLoss with these parameters:

  {
      "distance_metric": "SiameseDistanceMetric.COSINE_DISTANCE",
      "margin": 0.5,
      "size_average": true
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• eval_strategy: steps
• per_device_train_batch_size: 16
• per_device_eval_batch_size: 16
• learning_rate: 2e-05
• num_train_epochs: 20
• warmup_ratio: 0.1

All Hyperparameters

Click to expand

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: steps
• prediction_loss_only: True
• per_device_train_batch_size: 16
• per_device_eval_batch_size: 16
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 1
• eval_accumulation_steps: None
• learning_rate: 2e-05
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1.0
• num_train_epochs: 20
• max_steps: -1
• lr_scheduler_type: linear
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.1
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• use_ipex: False
• bf16: False
• fp16: False
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: False
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: False
• hub_always_push: False
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• dispatch_batches: None
• split_batches: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: False
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• batch_sampler: batch_sampler
• multi_dataset_batch_sampler: proportional

Training Logs

Epoch	Step	Training Loss	loss
0.8850	100	0.0056	0.0052
1.7699	200	0.0028	0.0037
2.6549	300	0.0019	0.0034
3.5398	400	0.0014	0.0039
4.4248	500	0.0011	0.0039
5.3097	600	0.0005	0.0033
6.1947	700	0.0005	0.0031
7.0796	800	0.0004	0.0032
7.9646	900	0.0004	0.0031
8.8496	1000	0.0004	0.0028
9.7345	1100	0.0003	0.0029
10.6195	1200	0.0004	0.0029
11.5044	1300	0.0003	0.0028
12.3894	1400	0.0002	0.0029
13.2743	1500	0.0003	0.0028
14.1593	1600	0.0002	0.0027
15.0442	1700	0.0003	0.0028
15.9292	1800	0.0003	0.0027
16.8142	1900	0.0003	0.0027
17.6991	2000	0.0002	0.0028
18.5841	2100	0.0002	0.0027
19.4690	2200	0.0003	0.0026

Framework Versions

• Python: 3.10.12
• Sentence Transformers: 3.0.1
• Transformers: 4.42.4
• PyTorch: 2.3.1+cu121
• Accelerate: 0.32.1
• Datasets: 2.20.0
• Tokenizers: 0.19.1

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

ContrastiveLoss

@inproceedings{hadsell2006dimensionality,
    author={Hadsell, R. and Chopra, S. and LeCun, Y.},
    booktitle={2006 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR'06)}, 
    title={Dimensionality Reduction by Learning an Invariant Mapping}, 
    year={2006},
    volume={2},
    number={},
    pages={1735-1742},
    doi={10.1109/CVPR.2006.100}
}