SentenceTransformer based on intfloat/multilingual-e5-large

This is a sentence-transformers model finetuned from intfloat/multilingual-e5-large on the questions_answers_final_v3 dataset. It maps sentences & paragraphs to a 1024-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

Model Type: Sentence Transformer
Base model: intfloat/multilingual-e5-large
Maximum Sequence Length: 512 tokens
Output Dimensionality: 1024 dimensions
Similarity Function: Cosine Similarity
Training Dataset:
- questions_answers_final_v3

Model Sources

Documentation: Sentence Transformers Documentation
Repository: Sentence Transformers on GitHub
Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: XLMRobertaModel 
  (1): Pooling({'word_embedding_dimension': 1024, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("multilingual-e5-large-v3")
# Run inference
sentences = [
    'huyết áp bình thường dao động trong khoảng 90/60- 139/89mmhg và thay đổi tùy theo độ tuổi, phái tính, từng thời điểm khác nhau trong ngày, thậm chí theo đặc thù của từng cơ thể khác nhau: ví dụ một người có thể hoàn toàn khỏe mạnh với huyết áp 90/60mmhg thì người khác có thể rất mệt mỏi, khó chịu khi huyết áp là 100/60mmhg... huyết áp được gọi là tụt (hạ huyết áp hay huyết áp thấp) khi trị số huyết áp < 90/60mmhg hay chính xác là khi huyết áp bị giảm tới mức gây chóng mặt, xây xẩm hay ngất xỉu. huyết áp thấp không phải là bệnh mà chỉ là một biểu hiện do nhiều nguyên nhân gây ra: ví dụ thiếu máu, mất máu, mất nước, suy yếu cơ tim, tổn thương van tim, rối loạn hệ thần kinh điều hòa tim và mạch máu... chóng mặt là một triệu chứng có thể do nhiều bệnh lý gây nên. nếu chị thường xuyên bị chóng mặt kèm theo huyết áp thấp (theo các tiêu chuẩn trên) thì có thể triệu chứng chóng mặt này do huyết áp thấp. chích thuốc bổ và ăn nhiều thức ăn bổ dưỡng chỉ giúp cải thiện chóng mặt và huyết áp thấp do cơ thể suy nhược, thiếu máu mạn tính. chị có thể thử phương pháp này trong một thời gian, nếu không bớt thì nên đến khám chuyên khoa tim mạch và thần kinh để được chẩn đoán thêm.',
    'Tôi thường xuyên chóng mặt, đi khám thì được biết do huyết áp thấp. Bác sĩ chích thuốc bổ và khuyên tôi nên ăn uống đủ chất. Xin hỏi tôi bị bệnh gì? (Pham Minh Anh - TP.HCM)',
    'Chào bác sĩ,  BS cho em hỏi bị nhăn đầu ti và mọc các mụn thịt quanh vú là bị làm sao ạ? Chân thành cảm ơn BS.  (Trúc - [email protected])',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 1024]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Evaluation

Metrics

Information Retrieval

Dataset: dim_768
Evaluated with InformationRetrievalEvaluator

Metric	Value
cosine_accuracy@1	0.7237
cosine_accuracy@3	0.8482
cosine_accuracy@5	0.8782
cosine_accuracy@10	0.9167
cosine_precision@1	0.7237
cosine_precision@3	0.2827
cosine_precision@5	0.1756
cosine_precision@10	0.0917
cosine_recall@1	0.7237
cosine_recall@3	0.8482
cosine_recall@5	0.8782
cosine_recall@10	0.9167
cosine_ndcg@10	0.8226
cosine_mrr@10	0.7923
cosine_map@100	0.7951

Training Details

Training Dataset

questions_answers_final_v3

Dataset: questions_answers_final_v3 at eac0552
Size: 55,802 training samples
Columns: answers and queries
Approximate statistics based on the first 1000 samples:
answers queries
type string string
details
min: 3 tokens
mean: 208.2 tokens
max: 512 tokens

min: 4 tokens
mean: 85.92 tokens
max: 512 tokens

	answers	queries
type	string	string
details	min: 3 tokens mean: 208.2 tokens max: 512 tokens	min: 4 tokens mean: 85.92 tokens max: 512 tokens

Samples:

answers	queries
Mã tương đương: 03.4155.0542, Tên dịch vụ kỹ thuật theo Thông tư 23/2024/TT-BYT: Phẫu thuật nội soi khớp gối tạo dây chằng chéo trước endo-button, Tên dịch vụ phê duyệt giá: Phẫu thuật nội soi khớp gối tạo dây chằng chéo trước endo-button, Phân Loại PTTT: P1, Mức giá: 4.594.500, Ghi chú: Chưa bao gồm nẹp vít, ốc, dao cắt sụn và lưỡi bào, bộ dây bơm nước, đầu đốt, tay dao điện, gân sinh học, gân đồng loại.	`Phẫu thuật nội soi khớp gối tạo dây chằng chéo trước endo-button`
chào bạn, ung thư gan không lây qua ăn uống, sinh hoạt chung trước tiên phải khẳng định ung thư gan không lây. hoàn toàn không lây qua ăn uống, sinh hoạt chung bạn nhé. các chất dịch của người bệnh cũng không làm lây lan bệnh. chỉ có viêm gan, như viêm gan a lây qua nước bọt, ăn uống chung… chứ ung thư gan hoàn toàn không lây qua đường ăn uống. tuy nhiên, những người bị viêm gan b hoặc c mãn tính có biến chứng ung thư gan thì có thể lây bệnh viêm gan c, hoặc viêm gan b qua đường máu hoặc đường dịch tiết. như vậy, bạn cần kiểm tra xem bệnh ung thư gan của ông có phải do biến chứng từ viêm gan b, c hay không. nếu không phải do biến chứng từ viêm gan thì không ngại lây. vẫn có thể cho ông bà cùng ăn chung, không ngại bà bị lây bệnh. gia đình có thể cho ông ăn uống thoải mái, không cần kiêng cữ gì đâu, để những tháng cuối đời của ông được như ý, vui vẻ.có thể nói một sự thật khá đau buồn là ung thư gan đã di căn, thời gian còn lại của bệnh nhân chỉ trong vòng từ 6 -12 tháng.cố gắng lên bạn...	Ông tôi mới phát hiện bị ung thư gan, đã bị di căn. Vì ông tôi gần 90 tuổi nên gia đình không muốn mổ xẻ hoặc làm ông đau đớn, nên con cháu thống nhất sẽ đưa ông về nhà điều trị ngoại trú. Vì ông bà rất tình cảm, vẫn hay ăn chung nên chúng tôi muốn biết ung thu gan có lây không? Bà ăn uống cùng ông có làm sao không ạ? Ngoài ra, thưa bác sĩ, ung thư gan đã di căn có thể sống được bao lâu? Có cần kiêng cữ món gì không? Chân thành cảm ơn bác sĩ. (Bạn đọc)
`Mã tương đương: 14.0151.0813, Tên dịch vụ kỹ thuật theo Thông tư 23/2024/TT-BYT: Đặt ống silicon tiền phòng điều trị glôcôm, Tên dịch vụ phê duyệt giá: Đặt ống silicon tiền phòng điều trị glôcôm, Phân Loại PTTT: PDB, Mức giá: 1.644.100, Ghi chú: Chưa bao gồm ống silicon.`	`Đặt ống silicon tiền phòng điều trị glôcôm`

Loss: MultipleNegativesRankingLoss with these parameters:

{
    "scale": 20.0,
    "similarity_fct": "cos_sim"
}

Training Hyperparameters

Non-Default Hyperparameters

eval_strategy: epoch
per_device_train_batch_size: 10
per_device_eval_batch_size: 1
learning_rate: 1e-06
num_train_epochs: 1
lr_scheduler_type: constant_with_warmup
warmup_ratio: 0.1
bf16: True
tf32: False
load_best_model_at_end: True
optim: adamw_torch_fused
batch_sampler: no_duplicates

All Hyperparameters

Click to expand

overwrite_output_dir: False
do_predict: False
eval_strategy: epoch
prediction_loss_only: True
per_device_train_batch_size: 10
per_device_eval_batch_size: 1
per_gpu_train_batch_size: None
per_gpu_eval_batch_size: None
gradient_accumulation_steps: 1
eval_accumulation_steps: None
torch_empty_cache_steps: None
learning_rate: 1e-06
weight_decay: 0.0
adam_beta1: 0.9
adam_beta2: 0.999
adam_epsilon: 1e-08
max_grad_norm: 1.0
num_train_epochs: 1
max_steps: -1
lr_scheduler_type: constant_with_warmup
lr_scheduler_kwargs: {}
warmup_ratio: 0.1
warmup_steps: 0
log_level: passive
log_level_replica: warning
log_on_each_node: True
logging_nan_inf_filter: True
save_safetensors: True
save_on_each_node: False
save_only_model: False
restore_callback_states_from_checkpoint: False
no_cuda: False
use_cpu: False
use_mps_device: False
seed: 42
data_seed: None
jit_mode_eval: False
use_ipex: False
bf16: True
fp16: False
fp16_opt_level: O1
half_precision_backend: auto
bf16_full_eval: False
fp16_full_eval: False
tf32: False
local_rank: 0
ddp_backend: None
tpu_num_cores: None
tpu_metrics_debug: False
debug: []
dataloader_drop_last: False
dataloader_num_workers: 0
dataloader_prefetch_factor: None
past_index: -1
disable_tqdm: False
remove_unused_columns: True
label_names: None
load_best_model_at_end: True
ignore_data_skip: False
fsdp: []
fsdp_min_num_params: 0
fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
fsdp_transformer_layer_cls_to_wrap: None
accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
deepspeed: None
label_smoothing_factor: 0.0
optim: adamw_torch_fused
optim_args: None
adafactor: False
group_by_length: False
length_column_name: length
ddp_find_unused_parameters: None
ddp_bucket_cap_mb: None
ddp_broadcast_buffers: False
dataloader_pin_memory: True
dataloader_persistent_workers: False
skip_memory_metrics: True
use_legacy_prediction_loop: False
push_to_hub: False
resume_from_checkpoint: None
hub_model_id: None
hub_strategy: every_save
hub_private_repo: None
hub_always_push: False
gradient_checkpointing: False
gradient_checkpointing_kwargs: None
include_inputs_for_metrics: False
include_for_metrics: []
eval_do_concat_batches: True
fp16_backend: auto
push_to_hub_model_id: None
push_to_hub_organization: None
mp_parameters:
auto_find_batch_size: False
full_determinism: False
torchdynamo: None
ray_scope: last
ddp_timeout: 1800
torch_compile: False
torch_compile_backend: None
torch_compile_mode: None
dispatch_batches: None
split_batches: None
include_tokens_per_second: False
include_num_input_tokens_seen: False
neftune_noise_alpha: None
optim_target_modules: None
batch_eval_metrics: False
eval_on_start: False
use_liger_kernel: False
eval_use_gather_object: False
average_tokens_across_devices: False
prompts: None
batch_sampler: no_duplicates
multi_dataset_batch_sampler: proportional

Training Logs