tanbinh2210/adapted-finetune-phobert

SentenceTransformer based on tanbinh2210/adapted_2_phobert

This is a sentence-transformers model finetuned from tanbinh2210/adapted_2_phobert on the json dataset. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: tanbinh2210/adapted_2_phobert
• Maximum Sequence Length: 256 tokens
• Output Dimensionality: 768 dimensions
• Similarity Function: Cosine Similarity
• Training Dataset:
  • json

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 256, 'do_lower_case': False}) with Transformer model: RobertaModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': True, 'pooling_mode_mean_tokens': False, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("tanbinh2210/adapted-finetune-phobert")
# Run inference
sentences = [
    'trường_hợp người lao_động bị tạm giam thì có được tạm dừng việc đóng bảo_hiểm_xã_hội bắt_buộc không ?',
    '" điều 88 . tạm dừng đóng bảo_hiểm_xã_hội bắt_buộc 1 . tạm dừng đóng vào quỹ hưu_trí và tử_tuất được quy_định như sau : a ) trong trường_hợp người sử_dụng lao_động gặp khó_khăn phải tạm dừng sản_xuất , kinh_doanh dẫn đến việc người lao_động và người sử_dụng lao_động không có khả_năng đóng bảo_hiểm_xã_hội thì được tạm dừng đóng vào quỹ hưu_trí và tử_tuất trong thời_gian không quá 12 tháng ; b ) hết thời_hạn tạm dừng đóng quy_định tại điểm a_khoản này , người sử_dụng lao_động và người lao_động tiếp_tục đóng bảo_hiểm_xã_hội và đóng bù cho thời_gian tạm dừng đóng , số tiền đóng bù không phải tính lãi chậm đóng theo quy_định tại khoản 3 điều 122 của luật này . 2 . người lao_động đang tham_gia bảo_hiểm_xã_hội bắt_buộc mà bị tạm giam thì người lao_động và người sử_dụng lao_động được tạm dừng đóng bảo_hiểm_xã_hội . trường_hợp được cơ_quan có thẩm_quyền xác_định người lao_động bị oan , sai thì thực_hiện việc đóng bù bảo_hiểm_xã_hội cho thời_gian bị tạm giam . số tiền đóng bù không phải tính lãi chậm đóng theo quy_định tại khoản 3 điều 122 của luật này . 3 . chính_phủ quy_định chi_tiết điều này và các trường_hợp khác tạm dừng đóng bảo_hiểm_xã_hội bắt_buộc . "',
    'khoản 5 . tạm dừng đóng bảo_hiểm_xã_hội đối_với người lao_động tham_gia bảo_hiểm_xã_hội bắt_buộc quy_định tại khoản 1 và khoản 2 điều 2 nghị_định này mà bị tạm giam được thực_hiện như sau : a ) người lao_động quy_định tại khoản 1 và khoản 2 điều 2 nghị_định này mà bị tạm giam thì người lao_động và người sử_dụng lao_động được tạm dừng đóng bảo_hiểm_xã_hội ; b ) sau thời_gian tạm giam , nếu được cơ_quan có thẩm_quyền xác_định bị oan , sai thì người lao_động và người sử_dụng lao_động thực_hiện việc đóng bù bảo_hiểm_xã_hội cho thời_gian bị tạm giam ; số tiền đóng bù không phải tính lãi chậm đóng theo quy_định tại khoản 3 điều 122 luật bảo_hiểm_xã_hội ; c ) trường_hợp cơ_quan có thẩm_quyền xác_định người lao_động là có tội thì không thực_hiện việc đóng bù bảo_hiểm_xã_hội cho thời_gian bị tạm giam .',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Training Details

Training Dataset

json

• Dataset: json
• Size: 327,007 training samples
• Columns: query, positive, and negative
• Approximate statistics based on the first 1000 samples:

  	query	positive	negative
  type	string	string	string
  details	min: 7 tokens mean: 17.16 tokens max: 37 tokens	min: 14 tokens mean: 150.95 tokens max: 256 tokens	min: 22 tokens mean: 151.52 tokens max: 256 tokens

• Samples:

  query	positive	negative
  ngày nghỉ hàng tuần của người lao_động được pháp_luật quy_định như_thế_nào ?	" điều 111 . nghỉ hằng tuần 1 . mỗi tuần , người lao_động được nghỉ ít_nhất 24 giờ liên_tục . trong trường_hợp đặc_biệt do chu_kỳ lao_động không_thể nghỉ hằng tuần thì người sử_dụng lao_động có trách_nhiệm bảo_đảm cho người lao_động được nghỉ_tính bình_quân 01 tháng ít_nhất 04 ngày . 2 . người sử_dụng lao_động có quyền quyết_định sắp_xếp ngày nghỉ hằng tuần vào ngày chủ_nhật hoặc ngày xác_định khác trong tuần nhưng phải ghi vào nội_quy lao_động . 3 . nếu ngày nghỉ hằng tuần_trùng với ngày nghỉ lễ , tết quy_định tại khoản 1 điều 112 của bộ_luật này thì người lao_động được nghỉ bù ngày nghỉ hằng tuần vào ngày làm_việc kế_tiếp . "	khoản 3 . thời_giờ làm_việc , thời_giờ nghỉ_ngơi thực_hiện theo quy_định tại chương vii của bộ_luật lao_động và chương vii nghị_định này , trong đó thời_gian nghỉ_ngơi trong ngày làm_việc bình_thường , ngày nghỉ hằng tuần được thực_hiện như sau : a ) vào ngày làm_việc bình_thường , ngoài thời_giờ làm_việc thỏa_thuận trong hợp_đồng lao_động theo quy_định , người sử_dụng lao_động phải bảo_đảm , tạo điều_kiện cho người lao_động được nghỉ ít_nhất 8 giờ , trong đó có 6 giờ liên_tục trong 24 giờ liên_tục ; b ) người lao_động được nghỉ hằng tuần theo quy_định tại điều 111 của bộ_luật lao_động , trường_hợp người sử_dụng lao_động không_thể bố_trí nghỉ hằng tuần thì phải bảo_đảm cho người lao_động được nghỉ_tính bình_quân 01 tháng ít_nhất 04 ngày .
  đảm_bảo các nguyên_tắc chung như_thế_nào trong việc xếp loại chất_lượng cán_bộ cấp tỉnh ?	nguyên_tắc đánh_giá , xếp loại chất_lượng cán_bộ , công_chức , viên_chức 1 . bảo_đảm khách_quan , công_bằng , chính_xác ; không nể_nang , trù_dập , thiên_vị , hình_thức ; bảo_đảm đúng thẩm_quyền quản_lý , đánh_giá cán_bộ , công_chức , viên_chức . 2 . việc đánh_giá , xếp loại chất_lượng phải căn_cứ vào chức_trách , nhiệm_vụ được giao và kết_quả thực_hiện nhiệm_vụ , thể_hiện thông_qua công_việc , sản_phẩm cụ_thể ; đối_với cán_bộ , công_chức , viên_chức lãnh_đạo , quản_lý phải gắn với kết_quả thực_hiện nhiệm_vụ của cơ_quan , tổ_chức , đơn_vị được giao quản_lý , phụ_trách . 3 . cán_bộ , công_chức , viên_chức có thời_gian công_tác trong năm chưa đủ 06 tháng thì không thực_hiện việc đánh_giá , xếp loại chất_lượng nhưng vẫn phải kiểm_điểm thời_gian công_tác trong năm , trừ trường_hợp nghỉ chế_độ thai_sản . cán_bộ , công_chức , viên_chức nghỉ không tham_gia công_tác theo quy_định của pháp_luật trong năm từ 03 tháng đến dưới 06 tháng thì vẫn thực_hiện đánh_giá nhưng không xếp loại chất_lượng ở ...	nguyên_tắc đánh_giá , xếp loại chất_lượng công_chức , viên_chức và người lao_động 1 . bảo_đảm khách_quan , công_bằng , chính_xác ; không nể_nang , trù_dập , thiên_vị , hình_thức ; bảo_đảm đúng thẩm_quyền quản_lý đánh_giá công_chức , viên_chức và người lao_động ; đúng quy_định của pháp_luật và của ngành ; xem_xét toàn_diện ; bảo_đảm tất_cả các tiêu_chí đánh_giá phải có điểm , không bị điểm_liệt ( 0 điểm ) .
  công_ty không trả tiền_lương đầy_đủ cho người lao_động sẽ bị xử_lý như_thế_nào ?	4 . phạt tiền đối_với người sử_dụng lao_động khi có hành_vi không trả hoặc trả không đủ cùng lúc với kỳ trả lương một khoản tiền cho người lao_động tương_đương với mức người sử_dụng lao_động đóng bảo_hiểm_xã_hội bắt_buộc , bảo_hiểm_y_tế , bảo_hiểm thất_nghiệp cho người lao_động không thuộc đối_tượng tham_gia bảo_hiểm_xã_hội bắt_buộc , bảo_hiểm_y_tế , bảo_hiểm thất_nghiệp theo quy_định của pháp_luật theo một trong các mức sau đây : a ) từ 3.000.000 đồng đến 5.000.000 đồng đối_với vi_phạm từ 01 người đến 10 người lao_động ; b ) từ 5.000.000 đồng đến 8.000.000 đồng đối_với vi_phạm từ 11 người đến 50 người lao_động ; c ) từ 8.000.000 đồng đến 12.000.000 đồng đối_với vi_phạm từ 51 người đến 100 người lao_động ; d ) từ 12.000.000 đồng đến 15.000.000 đồng đối_với vi_phạm từ 101 người đến 300 người lao_động ; đ ) từ 15.000.000 đồng đến 20.000.000 đồng đối_với vi_phạm từ 301 người lao_động trở lên .	khoản 2 . phạt tiền đối_với người sử_dụng lao_động có một trong các hành_vi : trả lương không đúng hạn theo quy_định của pháp_luật ; không trả hoặc trả không đủ tiền_lương cho người lao_động theo thỏa_thuận trong hợp_đồng lao_động ; không trả hoặc trả không đủ tiền_lương làm thêm giờ ; không trả hoặc trả không đủ tiền_lương làm_việc vào ban_đêm ; không trả hoặc trả không đủ tiền_lương ngừng việc cho người lao_động theo quy_định của pháp_luật ; hạn_chế hoặc can_thiệp vào quyền tự_quyết chi_tiêu lương của người lao_động ; ép_buộc người lao_động chi_tiêu lương vào việc mua hàng hóa , sử_dụng dịch_vụ của người sử_dụng lao_động hoặc của đơn_vị khác mà người sử_dụng lao_động chỉ_định ; khấu_trừ tiền_lương của người lao_động không đúng quy_định của pháp_luật ; không trả hoặc trả không đủ tiền_lương theo quy_định cho người lao_động khi tạm_thời chuyển người lao_động sang làm công_việc khác so với hợp_đồng lao_động hoặc trong thời_gian đình_công ; không trả hoặc trả không đủ tiền_lương của ngườ...

• Loss: MultipleNegativesRankingLoss with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim"
  }
  

Evaluation Dataset

json

• Dataset: json
• Size: 327,007 evaluation samples
• Columns: query, positive, and negative
• Approximate statistics based on the first 1000 samples:

  	query	positive	negative
  type	string	string	string
  details	min: 6 tokens mean: 17.13 tokens max: 35 tokens	min: 14 tokens mean: 151.92 tokens max: 256 tokens	min: 15 tokens mean: 151.96 tokens max: 256 tokens

• Samples:

  query	positive	negative
  hồ_sơ của đảng_viên chính_thức sẽ gồm những tài_liệu gì ?	viên dự_bị của đảng_viên được phân_công giúp_đỡ . + tổng_hợp ý_kiến nhận_xét của đoàn_thể chính_trị - xã_hội nơi làm_việc và chi_ủy ( hoặc chi_bộ ) nơi cư_trú đối_với đảng_viên dự_bị . + nghị_quyết xét , đề_nghị công_nhận đảng_viên chính_thức của chi_bộ . + báo_cáo thẩm_định của đảng_ủy bộ_phận ( nếu có ) . + nghị_quyết xét , đề_nghị công_nhận đảng_viên chính_thức của đảng_ủy cơ_sở . + quyết_định công_nhận đảng_viên chính_thức của cấp ủy có thẩm_quyền . + các bản bổ_sung hồ_sơ đảng_viên hằng năm . + các bản thẩm_tra , kết_luận về lý_lịch đảng_viên ( nếu có ) . + các quyết_định của cấp có thẩm_quyền về điều_động , bổ_nhiệm , nghỉ hưu , nghỉ mất_sức , chuyển ngành , phục_viên , xuất_ngũ , kỷ_luật , khen_thưởng ; bản_sao các văn_bản chứng_chỉ về chuyên_môn , lý_luận chính_trị , ngoại_ngữ , tin_học ... + hệ_thống giấy giới_thiệu sinh_hoạt đảng từ khi vào đảng . + các bản tự kiểm_điểm hằng năm ( của 3 năm gần nhất ) và khi chuyển sinh_hoạt_đảng của đảng_viên . - ngoài những tài_liệu trên , ...	1 . quản_lý hồ_sơ đảng_viên 1.1 - hồ_sơ đảng_viên ... b ) sau khi chi_bộ xét , đồng_ý kết_nạp vào đảng ( 1 ) nghị_quyết xét , đề_nghị kết_nạp đảng_viên của chi_bộ ; ( 2 ) báo_cáo thẩm_định của đảng_ủy bộ_phận ( nếu có ) ; ( 3 ) nghị_quyết xét , đề_nghị kết_nạp đảng_viên của đảng_ủy cơ_sở ; ( 4 ) quyết_định kết_nạp đảng_viên của cấp ủy có thẩm_quyền ; ( 5 ) lý_lịch đảng_viên ; ( 6 ) phiếu đảng_viên . c ) khi đảng_viên đã được công_nhận chính_thức có thêm các tài_liệu sau : ( 1 ) giấy chứng_nhận học lớp bồi_dưỡng đảng_viên mới ; ( 2 ) bản tự kiểm_điểm của đảng_viên dự_bị ; ( 3 ) bản nhận_xét đảng_viên dự_bị của đảng_viên chính_thức được phân_công giúp_đỡ ; ( 4 ) tổng_hợp ý_kiến nhận_xét của đoàn_thể chính_trị - xã_hội nơi đảng_viên dự_bị sinh_hoạt và chi_ủy ( hoặc chi_bộ ) nơi cư_trú đối_với đảng_viên dự_bị ; ( 5 ) nghị_quyết xét , đề_nghị công_nhận đảng_viên chính_thức của chi_bộ ; ( 6 ) báo_cáo thẩm_định của đảng_ủy bộ_phận ( nếu có ) ; ( 7 ) nghị_quyết xét , đề_nghị công_nhận đảng_viê...
  công_ty mẹ tổng_công_ty viễn_thông mobifone có được sử_dụng tài_sản do mobifone đang đi thuê hoạt_động để đầu_tư ra ngoài mobifone không ?	đầu_tư ra ngoài doanh_nghiệp ... 3 . các trường_hợp không được đầu_tư ra ngoài doanh_nghiệp : a ) góp vốn , mua cổ_phần , mua toàn_bộ doanh_nghiệp khác mà người_quản_lý , người đại_diện tại doanh_nghiệp đó là vợ hoặc chồng , cha đẻ , cha nuôi , mẹ đẻ , mẹ nuôi , con_đẻ , con_nuôi , anh ruột , chị ruột , em ruột , anh rể , em rể , chị dâu , em dâu của chủ_tịch và thành_viên hội_đồng thành_viên , chủ_tịch công_ty , kiểm_soát_viên , tổng_giám_đốc hoặc giám_đốc , phó tổng_giám_đốc hoặc phó giám_đốc , kế_toán_trưởng của doanh_nghiệp ; b ) góp vốn cùng công_ty con để thành_lập công_ty cổ_phần , công_ty trách_nhiệm hữu_hạn hoặc thực_hiện hợp_đồng hợp_tác kinh_doanh . 4 . thẩm_quyền quyết_định đầu_tư vốn ra ngoài doanh_nghiệp : a ) hội_đồng thành_viên hoặc chủ_tịch công_ty quyết_định từng dự_án đầu_tư ra ngoài doanh_nghiệp với giá_trị không quá 50 % vốn chủ_sở_hữu được ghi trên báo_cáo tài_chính quý hoặc báo_cáo tài_chính năm của doanh_nghiệp tại thời_điểm gần nhất với thời_điểm quyết_định dự_...	đầu_tư ra ngoài mobifone 1 . mobifone được quyền sử_dụng tài_sản , tiền vốn thuộc quyền quản_lý , sử_dụng của mobifone để đầu_tư ra ngoài doanh_nghiệp theo quy_định tại điều 28 , điều 29 luật quản_lý , sử_dụng vốn nhà_nước đầu_tư vào sản_xuất , kinh_doanh tại doanh_nghiệp : a ) mobifone được quyền sử_dụng vốn của mobifone để đầu_tư ra ngoài mobifone thuộc các ngành_nghề kinh_doanh chính được quy_định trong điều_lệ tổ_chức hoạt_động của mobifone . việc đầu_tư vốn ra ngoài mobifone phải tuân_thủ các quy_định của pháp_luật , không ảnh_hưởng đến hoạt_động sản_xuất kinh_doanh của mobifone , đảm_bảo có hiệu_quả , bảo_toàn và phát_triển vốn đầu_tư . b ) mobifone không được sử_dụng tài_sản , tiền vốn , quyền sử_dụng đất giao hoặc thuê để góp vốn hoặc đầu_tư vào lĩnh_vực bất_động_sản , không được góp vốn , mua cổ_phần tại ngân_hàng , công_ty bảo_hiểm , công_ty chứng_khoán , quỹ đầu_tư mạo_hiểm , quỹ đầu_tư chứng_khoán , công_ty đầu_tư chứng_khoán và công_ty quản_lý quỹ đầu_tư chứng_khoán , trừ ...
  việc lập báo_cáo tài_chính tổng_hợp là nhằm mục_đích gì ?	mục_đích của việc lập báo_cáo tài_chính tổng_hợp 1 . báo_cáo tài_chính tổng_hợp cung_cấp thông_tin kinh_tế , tài_chính cho người sử_dụng xem_xét , đánh_giá tình_hình tài_chính , kết_quả hoạt_động , khả_năng tạo tiền của đơn_vị kế_toán cấp trên trong kỳ kế_toán , làm cơ_sở cho việc đưa ra các quyết_định về quản_lý , điều_hành đầu_tư và quyết_định khác của các cấp lãnh_đạo và những người có liên_quan , đồng_thời nâng cao trách_nhiệm giải_trình của các đơn_vị kế_toán cấp trên về việc tiếp_nhận và sử_dụng các nguồn_lực của nhà_nước theo quy_định của pháp_luật . 2 . báo_cáo tài_chính tổng_hợp của đơn_vị dự_toán cấp 1 còn cung_cấp thông_tin để lập báo_cáo tài_chính nhà_nước theo quy_định tại khoản 1 điều 16 , khoản 1 điều 17 , khoản 1 điều 18 nghị_định số 25/2017 / nđ-cp về báo_cáo tài_chính nhà_nước .	nguyên_tắc lập báo_cáo tài_chính tổng_hợp 1 . báo_cáo tài_chính tổng_hợp được lập sau khi kết_thúc kỳ_kế_toán năm ( vào thời_điểm 31/12 hàng năm ) . báo_cáo của các đơn_vị kế_toán cấp dưới được sử_dụng làm căn_cứ lập báo_cáo tài_chính tổng_hợp phải được lập cho cùng một kỳ báo_cáo với báo_cáo tài_chính tổng_hợp , trường_hợp ngày kết_thúc kỳ kế_toán khác ngày 31/12 thì đơn_vị kế_toán cấp dưới phải lập và gửi các báo_cáo cho mục_đích tổng_hợp báo_cáo theo quy_định của thông_tư này . 2 . báo_cáo tài_chính tổng_hợp của đơn_vị kế_toán cấp trên phải được tổng_hợp đầy_đủ , bao_gồm thông_tin tài_chính của tất_cả đơn_vị kế_toán cấp dưới trực_thuộc theo quy_định ; trong đó các chỉ_tiêu tài_sản , nợ phải trả , tài_sản thuần , doanh_thu , chi_phí và các luồng tiền của đơn_vị kế_toán cấp trên được trình_bày trên các biểu_mẫu báo_cáo tương_ứng giống như là các báo_cáo của một đơn_vị kế_toán độc_lập .

• Loss: MultipleNegativesRankingLoss with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim"
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• overwrite_output_dir: True
• per_device_train_batch_size: 64
• per_device_eval_batch_size: 64
• learning_rate: 1e-05
• warmup_ratio: 0.1
• fp16: True
• batch_sampler: no_duplicates

All Hyperparameters

Click to expand

• overwrite_output_dir: True
• do_predict: False
• eval_strategy: no
• prediction_loss_only: True
• per_device_train_batch_size: 64
• per_device_eval_batch_size: 64
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 1
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 1e-05
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1.0
• num_train_epochs: 3
• max_steps: -1
• lr_scheduler_type: linear
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.1
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• use_ipex: False
• bf16: False
• fp16: True
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: False
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: False
• hub_always_push: False
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• dispatch_batches: None
• split_batches: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: False
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• use_liger_kernel: False
• eval_use_gather_object: False
• prompts: None
• batch_sampler: no_duplicates
• multi_dataset_batch_sampler: proportional

Training Logs

Click to expand

Epoch	Step	Training Loss
0.0245	100	1.4201
0.0489	200	1.0353
0.0734	300	0.8351
0.0978	400	0.7021
0.1223	500	0.6317
0.1468	600	0.5915
0.1712	700	0.5678
0.1957	800	0.5697
0.2202	900	0.5387
0.2446	1000	0.5181
0.2691	1100	0.502
0.2935	1200	0.4832
0.3180	1300	0.4705
0.3425	1400	0.485
0.3669	1500	0.4669
0.3914	1600	0.4594
0.4159	1700	0.4591
0.4403	1800	0.4371
0.4648	1900	0.4342
0.4892	2000	0.4337
0.5137	2100	0.4217
0.5382	2200	0.43
0.5626	2300	0.4208
0.5871	2400	0.4064
0.6115	2500	0.43
0.6360	2600	0.4075
0.6605	2700	0.4036
0.6849	2800	0.4225
0.7094	2900	0.3994
0.7339	3000	0.3968
0.7583	3100	0.3995
0.7828	3200	0.3919
0.8072	3300	0.38
0.8317	3400	0.3898
0.8562	3500	0.3876
0.8806	3600	0.3901
0.9051	3700	0.4021
0.9295	3800	0.381
0.9540	3900	0.3851
0.9785	4000	0.3764
1.0029	4100	0.3769
1.0274	4200	0.3689
1.0519	4300	0.378
1.0763	4400	0.3571
1.1008	4500	0.3768
1.1252	4600	0.3557
1.1497	4700	0.3471
1.1742	4800	0.3596
1.1986	4900	0.3538
1.2231	5000	0.3346
1.2476	5100	0.3377
1.2720	5200	0.3354
1.2965	5300	0.3273
1.3209	5400	0.3219
1.3454	5500	0.3293
1.3699	5600	0.33
1.3943	5700	0.3254
1.4188	5800	0.3258
1.4432	5900	0.3179
1.4677	6000	0.3176
1.4922	6100	0.325
1.5166	6200	0.3061
1.5411	6300	0.323
1.5656	6400	0.3154
1.5900	6500	0.3166
1.6145	6600	0.3252
1.6389	6700	0.3136
1.6634	6800	0.3132
1.6879	6900	0.3296
1.7123	7000	0.3099
1.7368	7100	0.3049
1.7613	7200	0.3169
1.7857	7300	0.2983
1.8102	7400	0.3018
1.8346	7500	0.3107
1.8591	7600	0.2989
1.8836	7700	0.3176
1.9080	7800	0.3156
1.9325	7900	0.3132
1.9569	8000	0.3084
1.9814	8100	0.307
2.0059	8200	0.3114
2.0303	8300	0.3015
2.0548	8400	0.3063
2.0793	8500	0.2946
2.1037	8600	0.3107
2.1282	8700	0.2904
2.1526	8800	0.2916
2.1771	8900	0.3008
2.2016	9000	0.2923
2.2260	9100	0.2846
2.2505	9200	0.2785
2.2750	9300	0.285
2.2994	9400	0.2798
2.3239	9500	0.2741
2.3483	9600	0.2826
2.3728	9700	0.2785
2.3973	9800	0.285
2.4217	9900	0.2723
2.4462	10000	0.2714
2.4706	10100	0.2683
2.4951	10200	0.2773
2.5196	10300	0.2735
2.5440	10400	0.2856
2.5685	10500	0.2707
2.5930	10600	0.2705
2.6174	10700	0.2874
2.6419	10800	0.2718
2.6663	10900	0.2684
2.6908	11000	0.288
2.7153	11100	0.2701
2.7397	11200	0.2759
2.7642	11300	0.2811
2.7886	11400	0.2712
2.8131	11500	0.2718
2.8376	11600	0.2752
2.8620	11700	0.2734
2.8865	11800	0.2899
2.9110	11900	0.2742
2.9354	12000	0.285
2.9599	12100	0.2771
2.9843	12200	0.2803

Framework Versions

• Python: 3.10.14
• Sentence Transformers: 3.3.1
• Transformers: 4.45.1
• PyTorch: 2.4.0
• Accelerate: 0.34.2
• Datasets: 3.0.1
• Tokenizers: 0.20.0

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MultipleNegativesRankingLoss

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply},
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}