SentenceTransformer based on bkai-foundation-models/vietnamese-bi-encoder

This is a sentence-transformers model finetuned from bkai-foundation-models/vietnamese-bi-encoder on the json dataset. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

Model Type: Sentence Transformer
Base model: bkai-foundation-models/vietnamese-bi-encoder
Maximum Sequence Length: 256 tokens
Output Dimensionality: 768 tokens
Similarity Function: Cosine Similarity
Training Dataset:
- json

Model Sources

Documentation: Sentence Transformers Documentation
Repository: Sentence Transformers on GitHub
Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 256, 'do_lower_case': False}) with Transformer model: RobertaModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("minhdang/bge-base-financial-matryoshka_pass_2")
# Run inference
sentences = [
    "['Tiêu chuẩn Chi cục trưởng, Phó Chi cục trưởng thuộc Cục Thuế\\n1. Vị trí và nhiệm vụ\\na) Chi cục trưởng Chi cục Thuế là người đứng đầu Chi cục Thuế, chịu trách nhiệm trước Cục trưởng Cục Thuế và trước pháp luật về toàn bộ hoạt động nhiệm vụ của đơn vị được cấp có thẩm quyền giao nhiệm vụ quản lý nhà nước trên địa bàn quận, huyện, thị xã, thành phố thuộc tỉnh.\\nb) Phó Chi cục trưởng Chi cục Thuế là người giúp việc Chi cục trưởng, chịu trách nhiệm trước Chi cục trưởng và trước pháp luật về lĩnh vực công tác được phân công; thay mặt Chi cục trưởng điều hành, giải quyết các công việc của Chi cục khi được Chi cục trưởng ủy quyền, giao nhiệm vụ.']",
    'Nhiệm vụ của Chi cục trưởng thuộc Cục Thuế như thế nào?',
    'Khoản phụ cấp chuyên cần có tính vào lương để tính tiền lương tăng ca, lương làm thêm giờ hay không?',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Evaluation

Metrics

Information Retrieval

Dataset: dim_768
Evaluated with InformationRetrievalEvaluator

Metric	Value
cosine_accuracy@1	0.2653
cosine_accuracy@3	0.4377
cosine_accuracy@5	0.5174
cosine_accuracy@10	0.6099
cosine_precision@1	0.2653
cosine_precision@3	0.1459
cosine_precision@5	0.1035
cosine_precision@10	0.061
cosine_recall@1	0.2653
cosine_recall@3	0.4377
cosine_recall@5	0.5174
cosine_recall@10	0.6099
cosine_ndcg@10	0.4285
cosine_mrr@10	0.3715
cosine_map@100	0.3808

Information Retrieval

Dataset: dim_512
Evaluated with InformationRetrievalEvaluator

Metric	Value
cosine_accuracy@1	0.2659
cosine_accuracy@3	0.4323
cosine_accuracy@5	0.5083
cosine_accuracy@10	0.6015
cosine_precision@1	0.2659
cosine_precision@3	0.1441
cosine_precision@5	0.1017
cosine_precision@10	0.0602
cosine_recall@1	0.2659
cosine_recall@3	0.4323
cosine_recall@5	0.5083
cosine_recall@10	0.6015
cosine_ndcg@10	0.4245
cosine_mrr@10	0.3689
cosine_map@100	0.3781

Information Retrieval

Dataset: dim_256
Evaluated with InformationRetrievalEvaluator

Metric	Value
cosine_accuracy@1	0.2484
cosine_accuracy@3	0.4108
cosine_accuracy@5	0.4802
cosine_accuracy@10	0.5701
cosine_precision@1	0.2484
cosine_precision@3	0.1369
cosine_precision@5	0.096
cosine_precision@10	0.057
cosine_recall@1	0.2484
cosine_recall@3	0.4108
cosine_recall@5	0.4802
cosine_recall@10	0.5701
cosine_ndcg@10	0.4006
cosine_mrr@10	0.3473
cosine_map@100	0.3568

Information Retrieval

Dataset: dim_128
Evaluated with InformationRetrievalEvaluator

Metric	Value
cosine_accuracy@1	0.2214
cosine_accuracy@3	0.3702
cosine_accuracy@5	0.4386
cosine_accuracy@10	0.518
cosine_precision@1	0.2214
cosine_precision@3	0.1234
cosine_precision@5	0.0877
cosine_precision@10	0.0518
cosine_recall@1	0.2214
cosine_recall@3	0.3702
cosine_recall@5	0.4386
cosine_recall@10	0.518
cosine_ndcg@10	0.3619
cosine_mrr@10	0.3128
cosine_map@100	0.3218

Information Retrieval

Dataset: dim_64
Evaluated with InformationRetrievalEvaluator

Metric	Value
cosine_accuracy@1	0.1616
cosine_accuracy@3	0.2775
cosine_accuracy@5	0.3343
cosine_accuracy@10	0.4103
cosine_precision@1	0.1616
cosine_precision@3	0.0925
cosine_precision@5	0.0669
cosine_precision@10	0.041
cosine_recall@1	0.1616
cosine_recall@3	0.2775
cosine_recall@5	0.3343
cosine_recall@10	0.4103
cosine_ndcg@10	0.2771
cosine_mrr@10	0.2356
cosine_map@100	0.244

Training Details

Training Dataset

json

Dataset: json
Size: 107,510 training samples
Columns: positive and anchor
Approximate statistics based on the first 1000 samples:
positive anchor
type string string
details
min: 34 tokens
mean: 209.22 tokens
max: 256 tokens

min: 8 tokens
mean: 25.12 tokens
max: 53 tokens

	positive	anchor
type	string	string
details	min: 34 tokens mean: 209.22 tokens max: 256 tokens	min: 8 tokens mean: 25.12 tokens max: 53 tokens

Samples:

positive	anchor
['Điều kiện thực hiện các quyền chuyển đổi, chuyển nhượng, cho thuê, cho thuê lại, thừa kế, tặng cho, thế chấp quyền sử dụng đất; góp vốn bằng quyền sử dụng đất\n1. Người sử dụng đất được thực hiện các quyền chuyển đổi, chuyển nhượng, cho thuê, cho thuê lại, thừa kế, tặng cho, thế chấp quyền sử dụng đất; góp vốn bằng quyền sử dụng đất khi có các điều kiện sau đây:\na) Có Giấy chứng nhận, trừ trường hợp quy định tại khoản 3 Điều 186 và trường hợp nhận thừa kế quy định tại khoản 1 Điều 168 của Luật này;\nb) Đất không có tranh chấp;\nc) Quyền sử dụng đất không bị kê biên để bảo đảm thi hành án;\nd) Trong thời hạn sử dụng đất.\n...']	`Để tặng cho quyền sử dụng đất thì người sử dụng đất phải đảm bảo được những điều kiện nào?`
['Vốn hoạt động của hợp tác xã\n1. Vốn hoạt động của hợp tác xã, liên hiệp hợp tác xã gồm vốn góp của thành viên, hợp tác xã thành viên, vốn huy động, vốn tích lũy, các quỹ của hợp tác xã, liên hiệp hợp tác xã; các khoản trợ cấp, hỗ trợ của Nhà nước, của các tổ chức, cá nhân trong nước và nước ngoài; các khoản được tặng, cho và các nguồn thu hợp pháp khác.\n2. Điều lệ, quy chế quản lý tài chính của hợp tác xã, liên hiệp hợp tác xã quy định cụ thể việc quản lý, sử dụng vốn hoạt động của hợp tác xã, liên hiệp hợp tác xã phù hợp với quy định của Luật Hợp tác xã và quy định của pháp luật có liên quan.']	`Vốn hoạt động của hợp tác xã bao gồm những nguồn nào?`
['Về kỹ năng\n- Sử dụng được công nghệ thông tin cơ bản theo quy định;\n- Xác định được yêu cầu của hệ thống cơ sở dữ liệu;\n- Cài đặt thành thạo phần mềm quản trị cơ sở dữ liệu;\n- Khai thác hiệu suất cao hệ thống cơ sở dữ liệu;\n- Quản lý an toàn hệ thống cơ sở dữ liệu;\n- Bảo trì được hệ thống;\n- Bảo mật được hệ thống cơ sở dữ liệu;\n- Nâng cấp được hệ thống cơ sở dữ liệu;\n- Xây dựng được ứng dụng;\n- Tích hợp được các hệ thống cơ sở dữ liệu;\n- Bảo trì, sửa chữa, nâng cấp được phần mềm và phần cứng của hệ thống mạng;\n- Xây dựng được các ứng dụng đơn giản trên hệ thống mạng;\n- Ghi được nhật ký cũng như báo cáo công việc, tiến độ công việc;\n- Thực hiện được các biện pháp vệ sinh công nghiệp, an toàn lao động;\n- Giao tiếp hiệu quả thông qua viết, thuyết trình, thảo luận, đàm phán, làm chủ tình huống;\n- Giám sát hệ thống công nghệ thông tin vừa và nhỏ;\n- Sử dụng được công nghệ thông tin cơ bản theo quy định; ứng dụng công nghệ thông tin trong một số công việc chuyên môn của ngành, nghề;\n- Sử dụng được ngoại ngữ cơ bản, đạt bậc 1/6 trong Khung năng lực ngoại ngữ của Việt Nam; ứng dụng được ngoại ngữ vào một số công việc chuyên môn của ngành, nghề.']	`Người học ngành quản trị cơ sở dữ liệu trình độ trung cấp sau khi tốt nghiệp phải có kỹ năng ngoại ngữ như thế nào?`

Loss: MatryoshkaLoss with these parameters:

{
    "loss": "MultipleNegativesRankingLoss",
    "matryoshka_dims": [
        768,
        512,
        256,
        128,
        64
    ],
    "matryoshka_weights": [
        1,
        1,
        1,
        1,
        1
    ],
    "n_dims_per_step": -1
}

Evaluation Dataset

json

Dataset: json
Size: 11,946 evaluation samples
Columns: positive and anchor
Approximate statistics based on the first 1000 samples:
positive anchor
type string string
details
min: 31 tokens
mean: 210.02 tokens
max: 256 tokens

min: 8 tokens
mean: 24.98 tokens
max: 64 tokens

	positive	anchor
type	string	string
details	min: 31 tokens mean: 210.02 tokens max: 256 tokens	min: 8 tokens mean: 24.98 tokens max: 64 tokens

Samples:

positive	anchor
['Miễn nhiệm, cách chức Trưởng ban kiểm soát, Kiểm soát viên\n1. Trưởng ban kiểm soát, Kiểm soát viên bị miễn nhiệm trong các trường hợp sau đây:\na) Không còn đủ tiêu chuẩn và điều kiện theo quy định tại Điều 23 của Điều lệ này;\nb) Có đơn xin từ chức và được cơ quan đại diện chủ sở hữu chấp thuận;\nc) Được cơ quan đại diện chủ sở hữu hoặc cơ quan có thẩm quyền khác điều động, phân công thực hiện nhiệm vụ khác;\nd) Trường hợp khác theo quy định của pháp luật.\n...']	`Việc miễn nhiệm Trưởng Ban kiểm soát Tổng công ty Giấy Việt Nam được thực hiện khi nào?`
['Cấp giấy phép hoạt động tư vấn chuyên ngành điện thuộc thẩm quyền cấp của địa phương\n...\nc) Thành phần hồ sơ:\n- Văn bản đề nghị cấp giấy phép hoạt động điện lực theo Mẫu 01 quy định tại Phụ lục ban hành kèm theo Thông tư số 21/2020/TT-BCT .\n- Bản sao Giấy chứng nhận đăng ký doanh nghiệp hoặc Quyết định thành lập, Giấy chứng nhận thành lập (đối với các tổ chức không có Giấy chứng nhận đăng ký doanh nghiệp) của tổ chức đề nghị cấp giấy phép.\n- Danh sách trích ngang chuyên gia tư vấn đảm nhiệm chức danh chủ nhiệm, chức danh giám sát trưởng và các chuyên gia tư vấn khác theo Mẫu 3a quy định tại Phụ lục ban hành kèm theo Thông tư số 21/2020/TT-BCT ; bản sao bằng tốt nghiệp đại học trở lên, chứng chỉ hành nghề hoạt động xây dựng, hợp đồng lao động xác định thời hạn hoặc không xác định thời hạn của các chuyên gia tư vấn.\n- Tài liệu chứng minh kinh nghiệm của các chuyên gia tư vấn (Quyết định phân công nhiệm vụ, giấy xác nhận của các đơn vị có dự án mà chuyên gia đã thực hiện hoặc các tài liệu có giá trị tương đương).\n...']	`Cần chuẩn bị những giấy tờ gì để thực hiện thủ tục cấp giấy phép hoạt động tư vấn thiết kế công trình đường dây và trạm biến áp có cấp điện áp đến 35kV?`
['Điều 41. Tạm hoãn gọi nhập ngũ và miễn gọi nhập ngũ\n1. Tạm hoãn gọi nhập ngũ đối với những công dân sau đây:\na) Chưa đủ sức khỏe phục vụ tại ngũ theo kết luận của Hội đồng khám sức khỏe;\nb) Là lao động duy nhất phải trực tiếp nuôi dưỡng thân nhân không còn khả năng lao động hoặc chưa đến tuổi lao động; trong gia đình bị thiệt hại nặng về người và tài sản do tai nạn, thiên tai, dịch bệnh nguy hiểm gây ra được Ủy ban nhân dân cấp xã xác nhận;\nc) Một con của bệnh binh, người nhiễm chất độc da cam suy giảm khả năng lao động từ 61% đến 80%;\nd) Có anh, chị hoặc em ruột là hạ sĩ quan, binh sĩ đang phục vụ tại ngũ; hạ sĩ quan, chiến sĩ thực hiện nghĩa vụ tham gia Công an nhân dân;\nđ) Người thuộc diện di dân, giãn dân trong 03 năm đầu đến các xã đặc biệt khó khăn theo dự án phát triển kinh tế - xã hội của Nhà nước do Ủy ban nhân dân cấp tỉnh trở lên quyết định;\ne) Cán bộ, công chức, viên chức, thanh niên xung phong được điều động đến công tác, làm việc ở vùng có điều kiện kinh tế - xã hội đặc biệt khó khăn theo quy định của pháp luật;\ng) Đang học tại cơ sở giáo dục phổ thông; đang được đào tạo trình độ đại học hệ chính quy thuộc cơ sở giáo dục đại học, trình độ cao đẳng hệ chính quy thuộc cơ sở giáo dục nghề nghiệp trong thời gian một khóa đào tạo của một trình độ đào tạo.\nh) Dân quân thường trực.\n2. Miễn gọi nhập ngũ đối với những công dân sau đây:\na) Con của liệt sĩ, con của thương binh hạng một;\nb) Một anh hoặc một em trai của liệt sĩ;\nc) Một con của thương binh hạng hai; một con của bệnh binh suy giảm khả năng lao động từ 81% trở lên; một con của người nhiễm chất độc da cam suy giảm khả năng lao động từ 81 % trở lên;\nd) Người làm công tác cơ yếu không phải là quân nhân, Công an nhân dân;\nđ) Cán bộ, công chức, viên chức, thanh niên xung phong được điều động đến công tác, làm việc ở vùng có điều kiện kinh tế - xã hội đặc biệt khó khăn theo quy định của pháp luật từ 24 tháng trở lên.\n3. Công dân thuộc diện tạm hoãn gọi nhập ngũ quy định tại khoản 1 Điều này, nếu không còn lý do tạm hoãn thì được gọi nhập ngũ.\nCông dân thuộc diện được tạm hoãn gọi nhập ngũ hoặc được miễn gọi nhập ngũ quy định tại khoản 1 và khoản 2 Điều này, nếu tình nguyện thì được xem xét tuyển chọn và gọi nhập ngũ.\n4. Danh sách công dân thuộc diện được tạm hoãn gọi nhập ngũ, được miễn gọi nhập ngũ phải được niêm yết công khai tại trụ sở Ủy ban nhân dân cấp xã, cơ quan, tổ chức trong thời hạn 20 ngày.']	`Liên quan đến tạm hoãn nghĩa vụ quân sự được pháp luật quy định như thế nào?`

Loss: MatryoshkaLoss with these parameters:

{
    "loss": "MultipleNegativesRankingLoss",
    "matryoshka_dims": [
        768,
        512,
        256,
        128,
        64
    ],
    "matryoshka_weights": [
        1,
        1,
        1,
        1,
        1
    ],
    "n_dims_per_step": -1
}

Training Hyperparameters

Non-Default Hyperparameters

eval_strategy: epoch
per_device_train_batch_size: 64
per_device_eval_batch_size: 64
gradient_accumulation_steps: 16
learning_rate: 2e-05
num_train_epochs: 4
lr_scheduler_type: cosine
warmup_ratio: 0.1
bf16: True
load_best_model_at_end: True
optim: adamw_torch_fused
batch_sampler: no_duplicates

All Hyperparameters

Click to expand

overwrite_output_dir: False
do_predict: False
eval_strategy: epoch
prediction_loss_only: True
per_device_train_batch_size: 64
per_device_eval_batch_size: 64
per_gpu_train_batch_size: None
per_gpu_eval_batch_size: None
gradient_accumulation_steps: 16
eval_accumulation_steps: None
torch_empty_cache_steps: None
learning_rate: 2e-05
weight_decay: 0.0
adam_beta1: 0.9
adam_beta2: 0.999
adam_epsilon: 1e-08
max_grad_norm: 1.0
num_train_epochs: 4
max_steps: -1
lr_scheduler_type: cosine
lr_scheduler_kwargs: {}
warmup_ratio: 0.1
warmup_steps: 0
log_level: passive
log_level_replica: warning
log_on_each_node: True
logging_nan_inf_filter: True
save_safetensors: True
save_on_each_node: False
save_only_model: False
restore_callback_states_from_checkpoint: False
no_cuda: False
use_cpu: False
use_mps_device: False
seed: 42
data_seed: None
jit_mode_eval: False
use_ipex: False
bf16: True
fp16: False
fp16_opt_level: O1
half_precision_backend: auto
bf16_full_eval: False
fp16_full_eval: False
tf32: None
local_rank: 0
ddp_backend: None
tpu_num_cores: None
tpu_metrics_debug: False
debug: []
dataloader_drop_last: False
dataloader_num_workers: 0
dataloader_prefetch_factor: None
past_index: -1
disable_tqdm: False
remove_unused_columns: True
label_names: None
load_best_model_at_end: True
ignore_data_skip: False
fsdp: []
fsdp_min_num_params: 0
fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
fsdp_transformer_layer_cls_to_wrap: None
accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
deepspeed: None
label_smoothing_factor: 0.0
optim: adamw_torch_fused
optim_args: None
adafactor: False
group_by_length: False
length_column_name: length
ddp_find_unused_parameters: None
ddp_bucket_cap_mb: None
ddp_broadcast_buffers: False
dataloader_pin_memory: True
dataloader_persistent_workers: False
skip_memory_metrics: True
use_legacy_prediction_loop: False
push_to_hub: False
resume_from_checkpoint: None
hub_model_id: None
hub_strategy: every_save
hub_private_repo: False
hub_always_push: False
gradient_checkpointing: False
gradient_checkpointing_kwargs: None
include_inputs_for_metrics: False
eval_do_concat_batches: True
fp16_backend: auto
push_to_hub_model_id: None
push_to_hub_organization: None
mp_parameters:
auto_find_batch_size: False
full_determinism: False
torchdynamo: None
ray_scope: last
ddp_timeout: 1800
torch_compile: False
torch_compile_backend: None
torch_compile_mode: None
dispatch_batches: None
split_batches: None
include_tokens_per_second: False
include_num_input_tokens_seen: False
neftune_noise_alpha: None
optim_target_modules: None
batch_eval_metrics: False
eval_on_start: False
use_liger_kernel: False
eval_use_gather_object: False
batch_sampler: no_duplicates
multi_dataset_batch_sampler: proportional

Training Logs

Epoch	Step	Training Loss	loss	dim_128_cosine_map@100	dim_256_cosine_map@100	dim_512_cosine_map@100	dim_64_cosine_map@100	dim_768_cosine_map@100
0.0952	10	2.1759	-	-	-	-	-	-
0.1905	20	1.4526	-	-	-	-	-	-
0.2857	30	1.4855	-	-	-	-	-	-
0.3810	40	1.5256	-	-	-	-	-	-
0.4762	50	1.6203	-	-	-	-	-	-
0.5714	60	1.6302	-	-	-	-	-	-
0.6667	70	1.8354	-	-	-	-	-	-
0.7619	80	1.4928	-	-	-	-	-	-
0.8571	90	1.6114	-	-	-	-	-	-
0.9524	100	1.5655	-	-	-	-	-	-
1.0	105	-	1.4307	0.3218	0.3568	0.3781	0.2440	0.3808
1.0476	110	1.4171	-	-	-	-	-	-
1.1429	120	1.572	-	-	-	-	-	-
1.2381	130	1.3337	-	-	-	-	-	-
1.3333	140	1.2587	-	-	-	-	-	-
1.4286	150	1.3038	-	-	-	-	-	-
1.5238	160	1.5032	-	-	-	-	-	-
1.6190	170	1.1601	-	-	-	-	-	-
1.7143	180	1.2226	-	-	-	-	-	-
1.8095	190	1.1545	-	-	-	-	-	-
1.9048	200	1.2034	-	-	-	-	-	-
2.0	210	1.0695	1.1034	0.3218	0.3568	0.3781	0.2440	0.3808
2.0952	220	1.0259	-	-	-	-	-	-
2.1905	230	0.8647	-	-	-	-	-	-
2.2857	240	0.901	-	-	-	-	-	-
2.3810	250	0.9261	-	-	-	-	-	-
2.4762	260	0.8719	-	-	-	-	-	-
2.5714	270	0.8008	-	-	-	-	-	-
2.6667	280	0.7091	-	-	-	-	-	-
2.7619	290	0.6592	-	-	-	-	-	-
2.8571	300	0.69	-	-	-	-	-	-
2.9524	310	0.739	-	-	-	-	-	-
3.0	315	-	0.8128	0.3218	0.3568	0.3781	0.2440	0.3808
3.0476	320	0.6944	-	-	-	-	-	-
3.1429	330	0.6414	-	-	-	-	-	-
3.2381	340	0.5874	-	-	-	-	-	-
3.3333	350	0.5979	-	-	-	-	-	-
3.4286	360	0.5409	-	-	-	-	-	-
3.5238	370	0.576	-	-	-	-	-	-
3.6190	380	0.5371	-	-	-	-	-	-
3.7143	390	0.5107	-	-	-	-	-	-
3.8095	400	0.4904	-	-	-	-	-	-
3.9048	410	0.5444	-	-	-	-	-	-
4.0	420	0.5389	-	-	-	-	-	-

Framework Versions

Python: 3.10.12
Sentence Transformers: 3.1.1
Transformers: 4.45.2
PyTorch: 2.3.1+cu121
Accelerate: 1.0.1
Datasets: 2.19.1
Tokenizers: 0.20.1

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MatryoshkaLoss

@misc{kusupati2024matryoshka,
    title={Matryoshka Representation Learning},
    author={Aditya Kusupati and Gantavya Bhatt and Aniket Rege and Matthew Wallingford and Aditya Sinha and Vivek Ramanujan and William Howard-Snyder and Kaifeng Chen and Sham Kakade and Prateek Jain and Ali Farhadi},
    year={2024},
    eprint={2205.13147},
    archivePrefix={arXiv},
    primaryClass={cs.LG}
}

MultipleNegativesRankingLoss

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply},
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}

minhdang
/

bge-base-financial-matryoshka_pass_2

SentenceTransformer based on bkai-foundation-models/vietnamese-bi-encoder

Model Details

Model Description

Model Sources

Full Model Architecture

Usage

Direct Usage (Sentence Transformers)

Evaluation

Metrics

Information Retrieval

Information Retrieval

Information Retrieval

Information Retrieval

Information Retrieval

Training Details

Training Dataset

json

Evaluation Dataset

json

Training Hyperparameters

Non-Default Hyperparameters

All Hyperparameters

Training Logs

Framework Versions

Citation

BibTeX

Sentence Transformers

MatryoshkaLoss

MultipleNegativesRankingLoss

Model tree for minhdang/bge-base-financial-matryoshka_pass_2

Evaluation results