meandyou200175/phobert_ContrastiveLoss

SentenceTransformer based on vinai/phobert-base-v2

This is a sentence-transformers model finetuned from vinai/phobert-base-v2. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: vinai/phobert-base-v2
• Maximum Sequence Length: 256 tokens
• Output Dimensionality: 768 tokens
• Similarity Function: Cosine Similarity

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 256, 'do_lower_case': False}) with Transformer model: RobertaModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("meandyou200175/phobert_ContrastiveLoss")
# Run inference
sentences = [
    'Chế độ sinh hoạt & phòng ngừa viêm phụ khoa',
    'Chế độ sinh hoạt & phòng ngừa viêm phụ khoa Những thói quen sinh hoạt có thể giúp bạn hạn chế diễn tiến của viêm phụ khoa Chế độ sinh hoạt: Giữ vệ sinh vùng kín đúng cách, ưu tiên dùng nước sạch hoặc dung dịch vệ sinh phù hợp có pH cân bằng. Tránh thụt rửa âm đạo làm mất cân bằng vi khuẩn tự nhiên trong âm đạo, gây viêm nhiễm hoặc làm tình trạng viêm phụ khoa nặng hơn. Sử dụng quần lót thoáng khí: Chọn quần lót bằng cotton, tránh mặc quần lót chật hoặc quần ẩm ướt để giảm thiểu nguy cơ nhiễm nấm và vi khuẩn. Tạm ngừng quan hệ tình dục trong thời gian điều trị viêm phụ khoa. Tránh sử dụng băng vệ sinh, tampon hoặc khăn lau chứa hương liệu có thể gây kích ứng. Đảm bảo thay băng vệ sinh và tampon thường xuyên trong kỳ kinh. Tránh căng thẳng vì stress làm suy yếu hệ miễn dịch, khiến cơ thể khó chống lại vi khuẩn và nấm gây bệnh. Vệ sinh vùng kín đúng cách Chế độ dinh dưỡng: Tăng cường thực phẩm giàu probiotic như sữa chua, kefir, miso và kim chi chứa lợi khuẩn giúp cân bằng hệ vi sinh trong cơ thể, đặc biệt là trong âm đạo. Bổ sung thực phẩm chứa chất chống viêm như cá hồi, dầu ô liu, quả óc chó và hạt chia giàu omega-3 có tác dụng giảm viêm, hỗ trợ cơ thể chống lại các tác nhân gây viêm nhiễm. Hạn chế chất bột đường vì có thể thúc đẩy sự phát triển của nấm Candida gây nhiễm nấm âm đạo. Tránh đồ ngọt, bánh mì trắng và thực phẩm chế biến sẵn. Uống đủ nước giúp cơ thể thanh lọc và loại bỏ các độc tố, đồng thời duy trì độ ẩm tự nhiên của vùng kín, ngăn ngừa tình trạng khô và kích ứng âm đạo. Bổ sung thực phẩm giàu vitamin C giúp tăng cường hệ miễn dịch, hỗ trợ cơ thể trong việc phòng ngừa và điều trị viêm phụ khoa. Các thực phẩm giàu vitamin C bao gồm cam, chanh, kiwi và dâu tây. Bổ sung tỏi và thực phẩm kháng khuẩn tự nhiên, có thể giúp ngăn ngừa nhiễm trùng âm đạo. Phòng ngừa viêm phụ khoa Để phòng ngừa viêm phụ khoa, các chị em cần chú ý một số điểm sau: Giữ vệ sinh vùng kín đúng cách: Rửa nhẹ nhàng vùng kín bằng nước sạch hoặc dung dịch vệ sinh phù hợp có pH cân bằng. Lau từ trước ra sau sau khi đi vệ sinh để tránh vi khuẩn từ hậu môn lây lan lên âm đạo. Tránh thụt rửa âm đạo: Thụt rửa có thể làm mất cân bằng vi khuẩn tự nhiên trong âm đạo, gây viêm nhiễm hoặc làm tình trạng viêm phụ khoa nặng hơn. Sử dụng quần lót thoáng khí: Chọn quần lót bằng cotton, tránh mặc quần lót chật hoặc quần ẩm ướt để giảm thiểu nguy cơ nhiễm nấm và vi khuẩn. Quan hệ tình dục an toàn: Sử dụng bao cao su khi quan hệ tình dục và tránh quan hệ với nhiều bạn tình để giảm nguy cơ lây nhiễm bệnh qua đường tình dục. Tránh sử dụng băng vệ sinh, tampon hoặc khăn lau chứa hương liệu có thể gây kích ứng. Đảm bảo thay băng vệ sinh và tampon thường xuyên trong kỳ kinh. Tránh căng thẳng: Thực hành các kỹ thuật giảm căng thẳng như thiền, yoga, hoặc tập thể dục thường xuyên. Chế độ ăn uống cân bằng, giảm đường và thực phẩm chế biến sẵn, tăng cường bổ sung probiotic, giữ tinh thần thoải mái, và tránh căng thẳng. Bổ sung lợi khuẩn probiotic',
    'Mô tả ngắn:\nThuốc Ravenell-62,5 là sản phẩm của Công ty Cổ phần Dược phẩm Đạt Vi Phú chứa hoạt chất Bosentan (dưới dạng Bosentan monohydrat) dùng điều trị tăng áp lực động mạch phổi (PAH) để cải thiện khả năng gắng sức và triệu chứng ở bệnh nhân độ III theo phân loại của WHO.\nThành phần:\nBosentan: 62.5mg\nChỉ định:\nThuốc Ravenell-62,5 chỉ định điều trị tăng áp lực động mạch phổi (PAH) để cải thiện khả năng gắng sức và triệu chứng ở bệnh nhân độ III theo phân loại của WHO. Hiệu quả đã được chứng minh trong:\nTăng áp lực động mạch phổi tiên phát (vô căn hoặc di truyền). Tăng áp lực động mạch phổi thứ phát do xơ cứng bì mà không có bệnh phổi kẽ nặng.\nĐã ghi nhận bosentan cho một số tác dụng cải thiện ở bệnh nhân bị tăng áp lực động mạch phổi độ II theo phân loại WHO.\nBosentan cũng được chỉ định để giảm số lượng vết loét ngón tay/chân mới ở bệnh nhân xơ cứng bì toàn thể và vết loét ngón tay/chân đang tiến triển.',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Evaluation

Metrics

Information Retrieval

• Evaluated with InformationRetrievalEvaluator

Metric	Value
cosine_accuracy@1	0.5307
cosine_accuracy@2	0.6227
cosine_accuracy@5	0.7363
cosine_accuracy@10	0.8081
cosine_accuracy@100	0.9702
cosine_precision@1	0.5307
cosine_precision@2	0.3114
cosine_precision@5	0.1473
cosine_precision@10	0.0808
cosine_precision@100	0.0097
cosine_recall@1	0.5307
cosine_recall@2	0.6227
cosine_recall@5	0.7363
cosine_recall@10	0.8081
cosine_recall@100	0.9702
cosine_ndcg@10	0.663
cosine_mrr@1	0.5307
cosine_mrr@2	0.5767
cosine_mrr@5	0.6077
cosine_mrr@10	0.6173
cosine_mrr@100	0.6245
cosine_map@100	0.6245
dot_accuracy@1	0.508
dot_accuracy@2	0.6074
dot_accuracy@5	0.7235
dot_accuracy@10	0.7984
dot_accuracy@100	0.9708
dot_precision@1	0.508
dot_precision@2	0.3037
dot_precision@5	0.1447
dot_precision@10	0.0798
dot_precision@100	0.0097
dot_recall@1	0.508
dot_recall@2	0.6074
dot_recall@5	0.7235
dot_recall@10	0.7984
dot_recall@100	0.9708
dot_ndcg@10	0.6472
dot_mrr@1	0.508
dot_mrr@2	0.5577
dot_mrr@5	0.5895
dot_mrr@10	0.5995
dot_mrr@100	0.6072
dot_map@100	0.6072

Training Details

Training Dataset

Unnamed Dataset

• Size: 87,608 training samples
• Columns: sentence1, sentence2, and label
• Approximate statistics based on the first 1000 samples:

  	sentence1	sentence2	label
  type	string	string	int
  details	min: 6 tokens mean: 75.42 tokens max: 256 tokens	min: 5 tokens mean: 188.29 tokens max: 256 tokens	0: ~50.00% 1: ~50.00%

• Samples:

  sentence1	sentence2	label
  Em bị 1 vết sưng tấy đường kính khoảng 2 cm hồng hồng ở vùng da thịt mông, nó không phải mụn nhọt, nó giống vết bị côn trùng cắt, không sưng u mà giống như miếng thịt sần sùi nhấp nhô. Không đau lắm, nhưng rờ vô thì cứng cứng đau nhói. Nằm ở vùng da mông không có gần hậu môn. Lúc trước nó xuất hiện rồi lại biến mất. Mỗi lần đi ngoài táo bón là hình như nó xuất hiện. BS coi giùm em nó bị gì, em hơi lo lắng. Em cảm ơn.
  (Hoàng Bảo - Đồng Nai)	Chào em Bảo, Sang thương da của em gồ trên bề mặt da, xù xì, tái đi tái lại nhiều lần. Với tính chất này thì ít nghĩ đến trường hợp dị ứng da thông thường. Do sang thương gồ và cứng nhiều khả năng cần sinh thiết da mới biết rõ bản chất để loại trừ nguyên nhân bệnh ở da. Không rõ hiện tại em có còn sang thương trên da hay không. Nếu vẫn còn thì em đừng ngại, hãy đến khám BS da liễu để tìm ra bệnh và điều trị đúng cách. Thân mến!	1
  Em bị 1 vết sưng tấy đường kính khoảng 2 cm hồng hồng ở vùng da thịt mông, nó không phải mụn nhọt, nó giống vết bị côn trùng cắt, không sưng u mà giống như miếng thịt sần sùi nhấp nhô. Không đau lắm, nhưng rờ vô thì cứng cứng đau nhói. Nằm ở vùng da mông không có gần hậu môn. Lúc trước nó xuất hiện rồi lại biến mất. Mỗi lần đi ngoài táo bón là hình như nó xuất hiện. BS coi giùm em nó bị gì, em hơi lo lắng. Em cảm ơn.
  (Hoàng Bảo - Đồng Nai)	Thanh thân mến, Mô tả của em khá sơ sài, không thể dựa vào cảm nhận mà biết là hay do nguyên nhân nào khác được. Em có thể chụp hình tổn thương gửi về chương trình, mô tả kĩ hơn về thời gian đau, hoàn cảnh khởi phát, tính chất đau, hướng lan cũng như những bệnh lý liên quan để BS tư vấn cụ thể hơn, em nhé! Trân trọng!	0
  Chào AloBacsi,
  Em 22 tuổi bị u tuyến yên, phát hiện bệnh năm 2013 với kích thước 91113mm, prolactin 9933, đã dùng thuốc Doxtinex. Tháng 6/2014 đã mổ nội soi lấy u tại BV Việt Đức. Sau mổ 1 tháng và dùng thuốc Doxtinex (4 viên), em tái khám prolactin 66, BS dặn tiếp tục dùng thuốc, 3 tháng khám lại.
  AloBacsi ơi, trong quá trình dùng thuốc thì dấu hiệu nào nên đi khám ngay ạ? Em chân thành cám ơn! (Ho Van Anh - Bắc Ninh)	- nguồn internet Bạn Anh thân mến, Qua các thông tin bạn cung cấp thì có khả năng bạn bị tiết Prolactin, kích thước khối u này khá lớn, có nhiều khả năng bệnh sẽ tái phát (khi mổ, phẫu thuật viên không thể lấy hết khối u được). BS dặn bạn tái khám là đúng và trong khi đang uống thuốc mà xuất hiện các tác dụng phụ của thuốc hay bệnh tái phát thì bạn nên khám lại ngay. Các tác dụng phụ của Doxtinex có thể gặp: buồn nôn, nôn, choáng váng đau dầu, mệt mỏi, táo bón,… Hay các biểu hiện bênh tái phát như: tiết sữa bất thường (mà không có thai), không có kinh, kinh ít hay vô sinh, giảm ham muốn tình dục,… lúc đó, bạn cần tái khám ngay để đo nồng độ Prolactin. Chào bạn và chúc bạn luôn vui, khỏe.	1

• Loss: ContrastiveLoss with these parameters:

  {
      "distance_metric": "SiameseDistanceMetric.COSINE_DISTANCE",
      "margin": 0.5,
      "size_average": true
  }
  

Evaluation Dataset

Unnamed Dataset

• Size: 10,952 evaluation samples
• Columns: sentence1, sentence2, and label
• Approximate statistics based on the first 1000 samples:

  	sentence1	sentence2	label
  type	string	string	int
  details	min: 5 tokens mean: 79.68 tokens max: 256 tokens	min: 24 tokens mean: 186.71 tokens max: 256 tokens	0: ~50.00% 1: ~50.00%

• Samples:

  sentence1	sentence2	label
  Nguyên nhân viêm xoang	Nguyên nhân viêm xoang Nguyên nhân dẫn đến Viêm xoang Virus: Đa số các trường hợp bị viêm xoang là do chứng cảm lạnh thông thường với sự xâm nhập của các virus đến các xoang. Cảm lạnh có thể dẫn đến viêm xoang bởi lẽ mũi của người bệnh lúc này dễ bị kích ứng trước sự tấn công của các virus gây bệnh làm sung huyết các mô mũi, chặn bít các lỗ thông thường dẫn lưu xoang. Một số virus gây bệnh điển hình: Rhinoviruses; Adenovirus; Virus parainfluenza ở người; Virus hợp bào đường hô hấp; Enterovirus. Vi khuẩn: Khoảng 10% bệnh nhân bị viêm xoang do vi khuẩn. Nếu bị cảm lạnh và không có dấu hiệu thuyên giảm sau 10 – 15 ngày nguyên nhân có thể do vi khuẩn khu trú trong các khoang mũi họng, khi cơ thể gặp vấn đề về sức khỏe, chúng sẽ phát triển và gây bệnh. Cảm lạnh sau một thời gian sẽ biến chứng thành viêm xoang. Một số vi khuẩn gây bệnh điển hình: Haemophilus influenzae; Streptococcus pneumoniae ; Trực khuẩn mủ xanh ( P.aeruginosa ); E.coli ; Cầu khuẩn (tụ cầu và liên cầu); Klebsiella; Moraxella catarrhalis. Nấm: Nhiễm trùng xoang thường gặp ở người có hệ miễn dịch yếu nhưng người khỏe mạnh cũng không nằm ngoài nguy cơ. Aspergillus là loại nấm phổ biến gây viêm xoang. Khi hệ thống miễn dịch suy yếu, nấm có cơ hội phát triển, đặc biệt là trong môi trường ẩm và tối tăm như các xoang. Dị ứng: Người bị viêm xoang do dị ứng có xu hướng bị nặng hơn so với bệnh nhân mắc bệnh do yếu tố khác. Vì vậy, nếu cơ địa dễ bị mẫn cảm với phấn hoa, lông vật nuôi, nấm mốc, bụi bẩn, nước hoa… hãy tránh xa những thứ này. Polyp mũi: Polyp mũi là những u nhỏ lành tính phát triển từ các mô mũi hoặc xoang, khiến các hốc xoang bị tắc nghẽn, ngăn cản dịch mũi chảy ra và gây nhiễm trùng xoang. Những u nhỏ này cũng có thể hạn chế đường dẫn khí, gây đau đầu, giảm độ nhạy của khứu giác. Một số nguyên nhân khác: Ô nhiễm không khí; Lạm dụng các chất kích thích như rượu, bia, thuốc lá; Lạm dụng thuốc xịt mũi; Sự thay đổi đột ngột của áp suất không khí như khi đi máy bay, lặn sâu dưới biển; Ảnh hưởng từ các cuộc tiểu phẫu vùng mũi hoặc do biến chứng của việc tác động vật lý lên vùng mũi; Viêm mũi dị ứng ; Bất thường cấu trúc mũi.	1
  Nguyên nhân viêm xoang	Nguyên nhân viêm khớp vai Nguyên nhân dẫn đến viêm khớp vai Viêm khớp vai được chia thành nhiều loại, trong đó có 5 loại viêm khớp vai thường gặp nhất. Tùy thuộc vào loại viêm khớp vai mà có các nguyên nhân khác nhau, và tồn tại một số nguyên nhân gây viêm khớp vai vẫn chưa được biết rõ. Thoái hóa khớp vai Thoái hóa có thể ảnh hưởng đến các vị trí khớp như gối, háng, bàn tay và khớp vai của bạn. Tương tự như ở khớp gối, thoái hóa khớp vai là tình trạng hao mòn liên quan đến tiến trình lão hóa. Bên cạnh tuổi tác, các yếu tố di truyền, chấn thương hay tư thế gây áp lực lên khớp lâu ngày cũng sẽ thúc đẩy quá trình thoái hóa. Thoái hóa khớp gây ra sự phá hủy sụn bảo vệ khớp, sụn sẽ bị bào mòn và dần dần mất đi. Các triệu chứng có thể gặp phải là đau, hạn chế vận động và cứng khớp. Nếu không được điều trị, tình trạng có thể nặng dần theo thời gian, gây yếu cơ, mất vững và mất cử động khớp vai. Viêm khớp dạng thấp Viêm khớp dạng thấp là bệnh lý tự miễn có thể dẫn đến viêm khớp vai. Thông thường, viêm khớp dạng thấp sẽ ảnh hưởng ở cả hai bên cơ thể, nên khả năng bạn sẽ bị viêm cả hai bên vai. Đồng thời, bạn có thể gặp các triệu chứng khác kèm theo: Đau, nóng, sưng tại khớp vai. Cảm giác cứng khớp vai, đặc biệt là vào buổi sáng. Các nốt thấp: Là những vết sưng hình thành dưới da tại các bề mặt chịu áp lực như khuỷu tay, khớp ngón tay hoặc khớp vai. Mệt mỏi , sụt cân, sốt. Sụt cân có thể là một trong những dấu hiệu của viêm khớp dạng thấp Tình trạng viêm khớp dạng thấp nếu không được chẩn đoán và điều trị, lâu ngày có thể gây bào mòn xương và biến dạng khớp vai. Viêm khớp vai sau chấn thương Nếu bạn từng gãy xương hay trật khớp vai, bạn có thể sẽ gặp phải một tình trạng viêm khớp vai được gọi là viêm khớp sau chấn thương. Thông thường, cơ thể có thể sẽ tự hồi phục tình trạng viêm khớp sau chấn thương. Tuy nhiên, tình trạng này có thể trở thành mãn tính nếu triệu chứng kéo dài hơn 6 tháng. Hoại tử vô mạch Hoại tử vô mạch, hay còn gọi là hoại tử xương, hầu hết sẽ ảnh hưởng đến khớp háng (xương đùi). Tuy nhiên, tình trạng này có thể ảnh hưởng đến bất kỳ xương nào, trong đó có xương cánh tay, từ đó dẫn đến viêm khớp vai. Hoại tử vô mạch là tình trạng phát sinh do có sự gián đoạn trong việc cung cấp máu cho xương. Nguyên nhân gây hoại tử vô mạch có thể khác nhau như sử dụng nhiều corticoid, uống nhiều rượu, chấn thương vùng vai, bệnh hồng cầu hình liềm hay vô căn (không có nguyên nhân). Nếu không điều trị, tình trạng hoại tử vô mạch sẽ dẫn đến tổn thương xương, có thể cần phải can thiệp phẫu thuật. Bệnh lý rách chóp xoay Xương bả vai và phần trên của xương cánh tay được nối với nhau qua một tập hợp các gân và cơ được gọi là nhóm cơ chóp xoay. Khi các gân cơ chóp xoay bị rách (phổ biến nhất là do chấn thương), sẽ gây mất áp lực, chuyển động và sự ổn định ở vai. Nếu các vết rách không lành lại, hoặc vết rách quá lớn, sẽ dẫn đến tổn thương sụn và xương, từ đó dẫn đến bệnh lý viêm khớp vai do rách chóp xoay. Rách chóp xoay có thể gây viêm khớp vai Tình trạng viêm khớp vai do rách chóp xoay có thể dẫn đến đau dữ dội và suy nhược nếu không được điều trị. Đối phó với nguyên nhân, tránh biến chứng: Nguyên nhân đau mỏi 2 khớp vai thường gặp?	0
  Dạ xin chào bác sĩ,Tôi 71 tuổi, có bệnh cao huyết áp, giãn phế quản do viêm phế quản mãn tính. Tôi có một thắc mắc hỏi và xin được bác sĩ tư vấn cho ạ. Vào đầu năm 1989 tôi bị sốt do cảm cúm, đã uống 2 viên Paracetamol 500mg, có chích thêm Vitamin C đường tĩnh mạch. Sau đó tôi đã bị choáng và ngất phải nhập viện cấp cứu. Kết luận lúc ra viện là bị sốc phản vệ Vitamin C. Xin bác sĩ tư vấn cho tôi có thể chích vắc xin ngừa COVID-19 không ạ? Xin cảm ơn bác sĩ.	Hình minh họa Chào bác, Theo Hướng dẫn sàng lọc trước tiêm chủng vắc xin phòng COVID-19 của Bộ Y tế, những trường hợp có tiền sử dị ứng nặng (phản vệ từ độ 2 trở lên) do mọi nguyên nhân đều không được chỉ định tiêm vắc xin phòng COVID-19. Và trường hợp của bác là rơi vào tình huống này, lớn tuổi, có bệnh lý nền nặng, tiền căn thì có sốc phản vệ với vitamin C, cho nên bác sẽ được trì hoãn tiêm vắc xin phòng COVID-19 trong chiến dịch tiêm vắc xin ngoài cộng đồng hiện nay, bác nhé.	1

• Loss: ContrastiveLoss with these parameters:

  {
      "distance_metric": "SiameseDistanceMetric.COSINE_DISTANCE",
      "margin": 0.5,
      "size_average": true
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• eval_strategy: steps
• per_device_train_batch_size: 16
• per_device_eval_batch_size: 16
• learning_rate: 2e-05
• num_train_epochs: 5
• warmup_ratio: 0.1
• fp16: True
• batch_sampler: no_duplicates

All Hyperparameters

Click to expand

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: steps
• prediction_loss_only: True
• per_device_train_batch_size: 16
• per_device_eval_batch_size: 16
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 1
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 2e-05
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1.0
• num_train_epochs: 5
• max_steps: -1
• lr_scheduler_type: linear
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.1
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• use_ipex: False
• bf16: False
• fp16: True
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: False
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: False
• hub_always_push: False
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• dispatch_batches: None
• split_batches: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: False
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• use_liger_kernel: False
• eval_use_gather_object: False
• batch_sampler: no_duplicates
• multi_dataset_batch_sampler: proportional

Training Logs

Click to expand

Epoch	Step	Training Loss	Validation Loss	cosine_map@100
0	0	-	-	0.1388
0.0183	100	0.0316	-	-
0.0365	200	0.0255	-	-
0.0548	300	0.016	-	-
0.0730	400	0.0115	-	-
0.0913	500	0.0098	-	-
0.1096	600	0.0085	-	-
0.1278	700	0.0086	-	-
0.1461	800	0.0078	-	-
0.1644	900	0.0077	-	-
0.1826	1000	0.0073	-	-
0.2009	1100	0.0069	-	-
0.2191	1200	0.0073	-	-
0.2374	1300	0.0066	-	-
0.2557	1400	0.0067	-	-
0.2739	1500	0.0066	-	-
0.2922	1600	0.0066	-	-
0.3104	1700	0.0068	-	-
0.3287	1800	0.0057	-	-
0.3470	1900	0.0059	-	-
0.3652	2000	0.0065	-	-
0.3835	2100	0.006	-	-
0.4018	2200	0.006	-	-
0.4200	2300	0.0057	-	-
0.4383	2400	0.0054	-	-
0.4565	2500	0.0057	-	-
0.4748	2600	0.0057	-	-
0.4931	2700	0.0053	-	-
0.5113	2800	0.0056	-	-
0.5296	2900	0.0051	-	-
0.5478	3000	0.0056	-	-
0.5661	3100	0.0059	-	-
0.5844	3200	0.0052	-	-
0.6026	3300	0.0051	-	-
0.6209	3400	0.0051	-	-
0.6392	3500	0.0054	-	-
0.6574	3600	0.0054	-	-
0.6757	3700	0.0049	-	-
0.6939	3800	0.0049	-	-
0.7122	3900	0.0053	-	-
0.7305	4000	0.0047	-	-
0.7487	4100	0.0045	-	-
0.7670	4200	0.0048	-	-
0.7852	4300	0.0045	-	-
0.8035	4400	0.0045	-	-
0.8218	4500	0.0044	-	-
0.8400	4600	0.0044	-	-
0.8583	4700	0.0047	-	-
0.8766	4800	0.0045	-	-
0.8948	4900	0.0045	-	-
0.9131	5000	0.005	-	-
0.9313	5100	0.0047	-	-
0.9496	5200	0.0048	-	-
0.9679	5300	0.0043	-	-
0.9861	5400	0.0042	-	-
1.0044	5500	0.0043	-	-
1.0226	5600	0.0045	-	-
1.0409	5700	0.0043	-	-
1.0592	5800	0.0041	-	-
1.0774	5900	0.0039	-	-
1.0957	6000	0.0036	-	-
1.1140	6100	0.004	-	-
1.1322	6200	0.0043	-	-
1.1505	6300	0.0036	-	-
1.1687	6400	0.004	-	-
1.1870	6500	0.0033	-	-
1.2053	6600	0.0038	-	-
1.2235	6700	0.0041	-	-
1.2418	6800	0.0037	-	-
1.2600	6900	0.0037	-	-
1.2783	7000	0.0035	-	-
1.2966	7100	0.0036	-	-
1.3148	7200	0.0038	-	-
1.3331	7300	0.003	-	-
1.3514	7400	0.0034	-	-
1.3696	7500	0.0036	-	-
1.3879	7600	0.0033	-	-
1.4061	7700	0.0034	-	-
1.4244	7800	0.0031	-	-
1.4427	7900	0.0031	-	-
1.4609	8000	0.003	-	-
1.4792	8100	0.003	-	-
1.4974	8200	0.003	-	-
1.5157	8300	0.0028	-	-
1.5340	8400	0.0029	-	-
1.5522	8500	0.0031	-	-
1.5705	8600	0.0031	-	-
1.5888	8700	0.0031	-	-
1.6070	8800	0.0027	-	-
1.6253	8900	0.003	-	-
1.6435	9000	0.0029	-	-
1.6618	9100	0.0028	-	-
1.6801	9200	0.0027	-	-
1.6983	9300	0.0025	-	-
1.7166	9400	0.0029	-	-
1.7348	9500	0.0027	-	-
1.7531	9600	0.0025	-	-
1.7714	9700	0.0025	-	-
1.7896	9800	0.0023	-	-
1.8079	9900	0.0024	-	-
1.8262	10000	0.0024	-	-
1.8444	10100	0.0023	-	-
1.8627	10200	0.0026	-	-
1.8809	10300	0.0024	-	-
1.8992	10400	0.0027	-	-
1.9175	10500	0.003	-	-
1.9357	10600	0.0027	-	-
1.9540	10700	0.0027	-	-
1.9722	10800	0.0024	-	-
1.9905	10900	0.0025	-	-
2.0088	11000	0.0025	-	-
2.0270	11100	0.0025	-	-
2.0453	11200	0.0023	-	-
2.0636	11300	0.0024	-	-
2.0818	11400	0.0021	-	-
2.1001	11500	0.0023	-	-
2.1183	11600	0.0021	-	-
2.1366	11700	0.0026	-	-
2.1549	11800	0.002	-	-
2.1731	11900	0.0023	-	-
2.1914	12000	0.0021	-	-
2.2096	12100	0.0022	-	-
2.2279	12200	0.0025	-	-
2.2462	12300	0.002	-	-
2.2644	12400	0.0023	-	-
2.2827	12500	0.002	-	-
2.3009	12600	0.0021	-	-
2.3192	12700	0.0022	-	-
2.3375	12800	0.0018	-	-
2.3557	12900	0.002	-	-
2.3740	13000	0.0023	-	-
2.3923	13100	0.0021	-	-
2.4105	13200	0.0018	-	-
2.4288	13300	0.002	-	-
2.4470	13400	0.0018	-	-
2.4653	13500	0.0018	0.0030	0.6298
2.4836	13600	0.0019	-	-
2.5018	13700	0.002	-	-
2.5201	13800	0.0017	-	-
2.5383	13900	0.0018	-	-
2.5566	14000	0.0019	-	-
2.5749	14100	0.0018	-	-
2.5931	14200	0.0019	-	-
2.6114	14300	0.0018	-	-
2.6297	14400	0.002	-	-
2.6479	14500	0.002	-	-
2.6662	14600	0.0019	-	-
2.6844	14700	0.0016	-	-
2.7027	14800	0.0017	-	-
2.7210	14900	0.0019	-	-
2.7392	15000	0.0017	-	-
2.7575	15100	0.0016	-	-
2.7757	15200	0.0016	-	-
2.7940	15300	0.0014	-	-
2.8123	15400	0.0014	-	-
2.8305	15500	0.0014	-	-
2.8488	15600	0.0016	-	-
2.8671	15700	0.0016	-	-
2.8853	15800	0.0016	-	-
2.9036	15900	0.0017	-	-
2.9218	16000	0.0018	-	-
2.9401	16100	0.0019	-	-
2.9584	16200	0.0017	-	-
2.9766	16300	0.0015	-	-
2.9949	16400	0.0017	-	-
3.0131	16500	0.0016	-	-
3.0314	16600	0.0015	-	-
3.0497	16700	0.0015	-	-
3.0679	16800	0.0016	-	-
3.0862	16900	0.0013	-	-
3.1045	17000	0.0014	-	-
3.1227	17100	0.0015	-	-
3.1410	17200	0.0015	-	-
3.1592	17300	0.0014	-	-
3.1775	17400	0.0014	-	-
3.1958	17500	0.0014	-	-
3.2140	17600	0.0016	-	-
3.2323	17700	0.0017	-	-
3.2505	17800	0.0012	-	-
3.2688	17900	0.0014	-	-
3.2871	18000	0.0014	-	-
3.3053	18100	0.0014	-	-
3.3236	18200	0.0013	-	-
3.3419	18300	0.0012	-	-
3.3601	18400	0.0015	-	-
3.3784	18500	0.0013	-	-
3.3966	18600	0.0013	-	-
3.4149	18700	0.0011	-	-
3.4332	18800	0.0013	-	-
3.4514	18900	0.0012	-	-
3.4697	19000	0.0011	-	-
3.4879	19100	0.0013	-	-
3.5062	19200	0.0012	-	-
3.5245	19300	0.001	-	-
3.5427	19400	0.0014	-	-
3.5610	19500	0.0012	-	-
3.5793	19600	0.0013	-	-
3.5975	19700	0.0013	-	-
3.6158	19800	0.0012	-	-
3.6340	19900	0.0014	-	-
3.6523	20000	0.0011	-	-
3.6706	20100	0.0012	-	-
3.6888	20200	0.0012	-	-
3.7071	20300	0.0012	-	-
3.7253	20400	0.0013	-	-
3.7436	20500	0.001	-	-
3.7619	20600	0.0011	-	-
3.7801	20700	0.0011	-	-
3.7984	20800	0.0009	-	-
3.8167	20900	0.0011	-	-
3.8349	21000	0.0009	-	-
3.8532	21100	0.0011	-	-
3.8714	21200	0.001	-	-
3.8897	21300	0.0011	-	-
3.9080	21400	0.0011	-	-
3.9262	21500	0.0011	-	-
3.9445	21600	0.0013	-	-
3.9627	21700	0.0011	-	-
3.9810	21800	0.001	-	-
3.9993	21900	0.0011	-	-
4.0175	22000	0.0011	-	-
4.0358	22100	0.0011	-	-
4.0541	22200	0.001	-	-
4.0723	22300	0.0011	-	-
4.0906	22400	0.0009	-	-
4.1088	22500	0.001	-	-
4.1271	22600	0.0011	-	-
4.1454	22700	0.0011	-	-
4.1636	22800	0.001	-	-
4.1819	22900	0.0009	-	-
4.2001	23000	0.0009	-	-
4.2184	23100	0.0012	-	-
4.2367	23200	0.0011	-	-
4.2549	23300	0.0009	-	-
4.2732	23400	0.0009	-	-
4.2915	23500	0.0011	-	-
4.3097	23600	0.001	-	-
4.3280	23700	0.0008	-	-
4.3462	23800	0.0009	-	-
4.3645	23900	0.001	-	-
4.3828	24000	0.0009	-	-
4.4010	24100	0.001	-	-
4.4193	24200	0.0009	-	-
4.4375	24300	0.0009	-	-
4.4558	24400	0.0008	-	-
4.4741	24500	0.0009	-	-
4.4923	24600	0.001	-	-
4.5106	24700	0.0008	-	-
4.5289	24800	0.0009	-	-
4.5471	24900	0.001	-	-
4.5654	25000	0.0009	-	-
4.5836	25100	0.0009	-	-
4.6019	25200	0.001	-	-
4.6202	25300	0.0009	-	-
4.6384	25400	0.001	-	-
4.6567	25500	0.0009	-	-
4.6749	25600	0.0009	-	-
4.6932	25700	0.0009	-	-
4.7115	25800	0.001	-	-
4.7297	25900	0.001	-	-
4.7480	26000	0.0009	-	-
4.7663	26100	0.0008	-	-
4.7845	26200	0.0007	-	-
4.8028	26300	0.0008	-	-
4.8210	26400	0.0008	-	-
4.8393	26500	0.0009	-	-
4.8576	26600	0.0009	-	-
4.8758	26700	0.0008	-	-
4.8941	26800	0.0009	-	-
4.9123	26900	0.001	-	-
4.9306	27000	0.0009	0.0029	0.6245
4.9489	27100	0.001	-	-
4.9671	27200	0.0009	-	-
4.9854	27300	0.0009	-	-

Framework Versions

• Python: 3.10.14
• Sentence Transformers: 3.2.1
• Transformers: 4.45.1
• PyTorch: 2.4.0
• Accelerate: 0.34.2
• Datasets: 3.0.1
• Tokenizers: 0.20.0

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

ContrastiveLoss

@inproceedings{hadsell2006dimensionality,
    author={Hadsell, R. and Chopra, S. and LeCun, Y.},
    booktitle={2006 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR'06)},
    title={Dimensionality Reduction by Learning an Invariant Mapping},
    year={2006},
    volume={2},
    number={},
    pages={1735-1742},
    doi={10.1109/CVPR.2006.100}
}