metadata

tags:
  - sentence-transformers
  - sentence-similarity
  - feature-extraction
  - generated_from_trainer
  - dataset_size:54755
  - loss:MultipleNegativesRankingLoss
base_model: keepitreal/vietnamese-sbert
widget:
  - source_sentence: >-
      Chào em, Trong bệnh nhiễm virus viêm gan B thì có những thể lâm sàng sau:
      Nhiễm virus viêm gan B thể không hoạt động: tế bào gan không bị tổn
      thương, men gan không tăng, không cần điều trị, chỉ theo dõi định kỳ men
      gan, tầm sóat ung thư gan (AFP, siêu âm bụng) và sống lối sống lành mạnh,
      hạn chế các chất độc gan (bia rượu, thuốc uống bừa bãi, thuốc đông nam
      không rõ loại). Viêm gan B, tức là vừa nhiễm virus viêm gan B và virus này
      đang làm tổn thương gan, men gan sẽ tăng. Viêm gan B được chia thành viêm
      gan B cấp và viêm gan B mạn tính. Viêm gan B cấp tính là tổn thương tế bào
      gan cấp do nhiễm HBV, hiện tượng tế bào gan bị phá hủy không phải do virus
      mà do chính cơ thể chống lại virus gây ra, và trong vòng 6 tháng là cơ thể
      sẽ thải toàn bộ virus và tạo miễn dịch bảo vệ suốt đời. Cho nên theo dõi
      cũng chỉ đơn giản là theo dõi men gan, HBsAg, Anti HBs xem loại trừ được
      hẳn virus chưa, có kháng thể chưa trong vòng 6 tháng, không cần điều trị
      trừ khi viêm gan B tối cấp, chỉ cần hạn chế các chất độc gan (bia rượu,
      thuốc uống bừa bãi, thuốc đông nam không rõ loại). Viêm gan B mạn là cơ
      thể không thể tự thải trừ HBV ra khỏi cơ thể sau 6 tháng, nếu không điều
      trị và theo dõi sát bệnh thì sẽ dẫn đến ung thư gan, xơ gan lúc nào không
      biết. Ngày nay có rất nhiều thuốc ra đời để đặc trị HBV, nhưng tùy vào
      phân type HBV, đáp ứng thuốc, tình trạng bệnh... mà việc điều trị mang lại
      khả năng thành công khác nhau. Bệnh nhân cần theo dõi bệnh ở BS chuyên
      khoa Gan mật để được hướng dẫn điều trị đúng đắn. Thân mến.
    sentences:
      - Nguyên nhân hội chứng thèm ăn
      - "Cháu xin chào bác sĩ,\r\n\r\nCháu năm nay 28 tuổi. Khi ngồi làm việc hay đi ngủ cháu đều có hiện tượng hơi đau nhức ở khớp đầu gối ở bên chân phải. Chân cháu phải căng cứng thì cảm giác bệnh sẽ không có. Hiện tượng xảy ra khi thả lỏng chân.\r\n\r\nCháu có đi khám, siêu âm 4D khớp gối ở bệnh viện thì bác sĩ kết luận không có thay đổi. Tuy nhiên cháu vẫn bị hiện tượng như vậy xảy ra. Hiện giờ bệnh có vẻ nặng nề hơn.\r\n\r\nLiệu có phải cháu bị bệnh thận không ạ? Cháu nghe nói bị suy thận cũng có thể gây ảnh hưởng tới chân. Mong bác sĩ tư vấn giúp cháu."
      - "Chào BS,\r\n\r\nEm bị nhiễm viêm gan siêu vi B nhưng BS nói em đang ở giai đoạn đầu sơ nhiễm. BS cho em hỏi có cách nào chữa không?"
  - source_sentence: >-
      Nguyên nhân suy tim Suy tim thường là kết quả của một số vấn đề ảnh hưởng
      đến tim cùng lúc. Các bệnh có thể dẫn đến suy tim bao gồm: Bệnh mạch vành:
      Các động mạch cung cấp máu cho tim bị tắc nghẽn bởi các chất béo (xơ vữa
      động mạch) - có thể gây đau thắt ngực hoặc gây đau tim. Bệnh tăng huyết
      áp: Bệnh làm áp lực máu động mạch rất lớn, mà lực co bóp tim phải lớn hơn
      áp lực máu động mạch mới tống máu đi nuôi cơ thể, lâu dần tim hoạt động
      quá sức dẫn đến suy tim. Bệnh cơ tim. Bệnh van tim . Bệnh tim bẩm sinh:
      Bệnh sẽ tiến triển thành suy tim rất nhanh nếu không được can thiệp phẫu
      thuật sớm. Các nguyên nhân khác do: Loạn nhịp tim , nhiễm độc (rượu), tác
      dụng phụ của thuốc, đái tháo đường, thiếu máu, phụ nữ sau khi sinh,… Bệnh
      tăng huyết áp dẫn đến suy tim
    sentences:
      - Nguyên nhân suy tim
      - "Xin chào bác sĩ,\r\n\r\nEm bị hạ huyết áp từ nhỏ nên hay đi truyền nước. Cách đây 2 năm tai em bị ù, em đã đi khám tổng quát cách đây 1 năm BS kết luận em bị hẹp van tim 1/4 em rất lo lắng. BS bảo em không sao vì hẹp van tim nên em thiếu máu lên não gây ù tai. BS cho em đơn thuốc trong 20 ngày, em uống và có uống thêm các loại thuốc bổ dành cho não nhưng vẫn không hết, vẫn bị ù tai thường xuyên vào sáng sớm hoặc lúc em bị giật mình do tiếng động mạnh, tai em rất nhức.\r\n\r\nThấy không hết em đi Da Liễu thì BS kê đơn em bị viêm tai cho thuốc và thuốc nhỏ vào tai nhưng tới giờ vẫn không hết mà còn nặng hơn. Em rất lo lắng mong BS có thể giúp em.\r\n\r\n(Minh Thư – TPHCM)"
      - >-
        Thuốc Kasiod 210mg Khapharco điều trị bệnh lỵ amip đường ruột, tiêu chảy
        (4 vỉ x 25 viên)
  - source_sentence: ' Chào Huyền Trang, Theo mô tả thì con bạn bình thường, bạn muốn kiểm tra sức khỏe con bạn thì bạn nên đưa 2 bé đến BV địa phương gặp BS chuyên khoa Nhi khám kiểm tra sức khỏe nếu phát hiện bé có gì bất thường thì sẽ tư vấn cho bạn. Thân mến!'
    sentences:
      - "Chào BS,\r\n\r\nTôi bị quên mọi thứ, không có cảm xúc trước mọi việc. Tôi không phải quên hoàn toàn nhưng nếu nhớ được gì thì cũng chỉ loáng thoáng, nếu không ghi lại tôi sẽ quên. Đặc biệt tôi lo sợ vì tôi không có cảm xúc. \r\n\r\nVậy cho tôi hỏi tôi mắc bệnh gì? Tôi nên đi khám ở đâu?"
      - "Chào bác sĩ,\r\n\r\nGần 2 năm nay, mỗi sáng em thức dậy lúc nào cổ họng em cũng có 1 ít đàm và trong ngày cũng vậy, tầm vài giờ là thấy ngứa cổ phải khạc đờm hoặc phải hắng giọng mới dễ nói chuyện. Trung bình mỗi ngày em thường uống 2 ly thức uống có đá lạnh. Cho em hỏi như vậy là em đang bị bệnh gì? Xin cảm ơn."
      - "Tôi muốn hỏi, con tôi 1 bé trai 6 tuổi, 1 bé trai 10 tuổi, hai cháu không có biểu hiện bất thường gì, chỉ gầy thôi. Vậy tôi có nên đưa con đi khám tổng quát hay tầm soát gì không BS? Nếu khám thì tôi nên khám ở đâu, thưa BS?\r\n\r\n(Mai Huyền Trang - Quảng Ngãi)"
  - source_sentence: >-
      Mô tả ngắn:

      Dầu gội trị nấm Shampoo Ciclopirox là sản phẩm của Công ty Cổ phần Dược
      phẩm VCP có thành phần chính là Ciclopirox dùng điều trị bệnh viêm da tiết
      bã ở da đầu người lớn.

      Thành phần:

      Ciclopirox: 1g

      Chỉ định:

      Dầu gội trị nấm Shampoo Ciclopirox chỉ định dùng điều trị bệnh viêm da
      tiết bã ở da đầu người lớn.
    sentences:
      - Dầu gội Shampoo Ciclopirox VCP hỗ trợ điều trị nấm (100ml)
      - "Xin chào cô Yến Phi,\r\n\r\nTôi bị tiểu đường 12 năm nay, phải kiêng đủ thứ nhưng tới mùa Trung thu là khổ sở nhất vì phải đấu tranh tư tưởng miết mỗi khi chạy qua các hàng bánh. Ba năm nay tôi thường mua bánh dành cho người ăn kiêng để ăn cho thỏa, nhưng vợ tôi kêu bánh ăn kiêng còn độc hơn vì phải dùng đường hóa học. Xin cô cho biết, bánh trung thu dành cho người ăn kiêng khác với bánh thường như thế nào? Loại này có “an toàn” dành cho những người như tôi không? Cảm ơn cô.\r\n\r\n(Phan Bá Tĩnh - TPHCM)"
      - "Chào BS, \r\n\r\nEm năm nay 20 tuổi. Dạo gần đây em thì đêm nào em cũng đi tiểu đêm (1-2 lần). Em có xét nghiệm thì chỉ số urea máu cao. \r\n\r\nVà sau 1 tuần ăn ít đạm thì chỉ số urea xuống còn 4,6 nhưng không hiểu sao em vẫn còn bị tiểu đêm. Đêm nào cũng đi tiểu, mặc dù buổi tối em uống rất ít nước. Mong BS tư vấn cho em."
  - source_sentence: >-
      Chào em Tùy theo , mức độ của bệnh, sức khỏe bệnh nhi và bệnh có nguy cơ
      gây biến chứng nặng nề hơn,… BS nhi sẽ cân nhắc việc dùng thuốc điều trị,
      sao cho phù hợp với bệnh lý và sức khỏe của bé, cho nên em cần hợp tác tốt
      với BS điều trị. Nếu bệnh lý của bé không được điều trị sớm và đúng bệnh,
      đúng thuốc thì nhiều khả năng bệnh sẽ tiến triển nặng hơn hoặc gây biến
      chứng khó thở thanh quản, viêm phế quản,… Cho nên trường hợp của bé qua mô
      tả của em tôi thấy bệnh không có chút thuyên giảm và có chiều hướng nặng
      hơn. Bây giờ, em nên đưa bé đến BV Nhi khám và điều trị sớm. Thân mến!
    sentences:
      - "Thưa BS,\r\n\r\nEm có vấn đề nhờ BS tư vấn. Em bị bệnh cường giáp và đã đi phẫu thuật cách đây 20 ngày. Sau phẫu thuật giọng nói của em bị khàn đi, và điều đó gây cho em lo lắng.\r\n\r\nEm nói nhỏ, nhưng vẫn còn rõ tiếng, tuy có bị khàn. Cảm giác bị mất hơi khi nói, và hơi cũng không nhiều như trước. Ăn uống và thở đều bình thường, không có vấn đề gì.\r\n\r\nVì vậy em có đi nội soi Tai - mũi - họng thì kết quả là dây thanh phải bình thường, dây thanh trái kết luận là yếu liệt không hoàn toàn.\r\n\r\nKết luận trên ngắn gọn nên em chưa rõ nhiều điều. Vậy em có khả năng hồi phục dây thanh trái như cũ hay không? Và thời gian hồi phục thường là bao lâu?\r\n\r\nHiện nay em nói nhỏ, không nói lớn được, không nói được nhưng nguyên âm như a, o, e, i, u mà thay vào đó là ha, ho, he, hi, hu.\r\n\r\nEm nghe nếu trường hợp bị liệt hoàn toàn bên trái, thì dây thanh bên phải sẽ phát triển mạnh để bù trừ phải không ạ? Em gửi kèm hình nội soi ạ.\r\n\r\n(Nguyen Ngoc Chung - TPHCM)"
      - "Xin chào BS, \r\n\r\nCháu có một bé gái 3 tuổi, gần đây bé bị sốt và ho, chẩn đoán viêm thanh quản. BS có kê cho cháu 1 đơn thuốc gồm kháng sinh + kháng viêm Mekocetin (ngày 2 viên/2 lần). Nhưng qua tìm hiểu cháu được biết Mekocetin không tốt cho trẻ nên không dám cho uống mà chỉ sửa dụng kháng sinh.\r\n\r\nEm bé sau khi uống hết đợt kháng sinh đã hạ sốt được 2 ngày thì sốt lại và ho nhiều. Bây giờ cháu cho bé uống Mekocetin được không ạ, hay là lại phải uống lại kháng sinh 5 ngày nữa + Mekocetin ạ?\r\n\r\nCháu rất cám ơn BS ạ!\r\n\r\nThuốc đã uống: kháng sinh, Mekocetin."
      - "AloBacsi ơi,\r\n\r\nVợ em uống nhiều rượu, giờ nôn ra dịch vàng có vị đắng... Giờ phải làm sao BS?"
datasets:
  - meandyou200175/dataset_full_fixed
pipeline_tag: sentence-similarity
library_name: sentence-transformers
metrics:
  - cosine_accuracy@1
  - cosine_accuracy@3
  - cosine_accuracy@5
  - cosine_accuracy@10
  - cosine_precision@1
  - cosine_precision@3
  - cosine_precision@5
  - cosine_precision@10
  - cosine_recall@1
  - cosine_recall@3
  - cosine_recall@5
  - cosine_recall@10
  - cosine_ndcg@10
  - cosine_mrr@10
  - cosine_map@100
model-index:
  - name: SentenceTransformer based on keepitreal/vietnamese-sbert
    results:
      - task:
          type: information-retrieval
          name: Information Retrieval
        dataset:
          name: dim 768
          type: dim_768
        metrics:
          - type: cosine_accuracy@1
            value: 0.602081811541271
            name: Cosine Accuracy@1
          - type: cosine_accuracy@3
            value: 0.7423301680058437
            name: Cosine Accuracy@3
          - type: cosine_accuracy@5
            value: 0.7885317750182615
            name: Cosine Accuracy@5
          - type: cosine_accuracy@10
            value: 0.8434989043097151
            name: Cosine Accuracy@10
          - type: cosine_precision@1
            value: 0.602081811541271
            name: Cosine Precision@1
          - type: cosine_precision@3
            value: 0.24744338933528123
            name: Cosine Precision@3
          - type: cosine_precision@5
            value: 0.1577063550036523
            name: Cosine Precision@5
          - type: cosine_precision@10
            value: 0.0843498904309715
            name: Cosine Precision@10
          - type: cosine_recall@1
            value: 0.602081811541271
            name: Cosine Recall@1
          - type: cosine_recall@3
            value: 0.7423301680058437
            name: Cosine Recall@3
          - type: cosine_recall@5
            value: 0.7885317750182615
            name: Cosine Recall@5
          - type: cosine_recall@10
            value: 0.8434989043097151
            name: Cosine Recall@10
          - type: cosine_ndcg@10
            value: 0.7216524207987493
            name: Cosine Ndcg@10
          - type: cosine_mrr@10
            value: 0.6827917202917219
            name: Cosine Mrr@10
          - type: cosine_map@100
            value: 0.6883256096525641
            name: Cosine Map@100

SentenceTransformer based on keepitreal/vietnamese-sbert

This is a sentence-transformers model finetuned from keepitreal/vietnamese-sbert on the dataset_full_fixed dataset. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

Model Type: Sentence Transformer
Base model: keepitreal/vietnamese-sbert
Maximum Sequence Length: 256 tokens
Output Dimensionality: 768 dimensions
Similarity Function: Cosine Similarity
Training Dataset:
- dataset_full_fixed

Model Sources

Documentation: Sentence Transformers Documentation
Repository: Sentence Transformers on GitHub
Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 256, 'do_lower_case': False}) with Transformer model: RobertaModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("vietnamese-sbert-v2")
# Run inference
sentences = [
    'Chào em Tùy theo , mức độ của bệnh, sức khỏe bệnh nhi và bệnh có nguy cơ gây biến chứng nặng nề hơn,… BS nhi sẽ cân nhắc việc dùng thuốc điều trị, sao cho phù hợp với bệnh lý và sức khỏe của bé, cho nên em cần hợp tác tốt với BS điều trị. Nếu bệnh lý của bé không được điều trị sớm và đúng bệnh, đúng thuốc thì nhiều khả năng bệnh sẽ tiến triển nặng hơn hoặc gây biến chứng khó thở thanh quản, viêm phế quản,… Cho nên trường hợp của bé qua mô tả của em tôi thấy bệnh không có chút thuyên giảm và có chiều hướng nặng hơn. Bây giờ, em nên đưa bé đến BV Nhi khám và điều trị sớm. Thân mến!',
    'Xin chào BS, \r\n\r\nCháu có một bé gái 3 tuổi, gần đây bé bị sốt và ho, chẩn đoán viêm thanh quản. BS có kê cho cháu 1 đơn thuốc gồm kháng sinh + kháng viêm Mekocetin (ngày 2 viên/2 lần). Nhưng qua tìm hiểu cháu được biết Mekocetin không tốt cho trẻ nên không dám cho uống mà chỉ sửa dụng kháng sinh.\r\n\r\nEm bé sau khi uống hết đợt kháng sinh đã hạ sốt được 2 ngày thì sốt lại và ho nhiều. Bây giờ cháu cho bé uống Mekocetin được không ạ, hay là lại phải uống lại kháng sinh 5 ngày nữa + Mekocetin ạ?\r\n\r\nCháu rất cám ơn BS ạ!\r\n\r\nThuốc đã uống: kháng sinh, Mekocetin.',
    'AloBacsi ơi,\r\n\r\nVợ em uống nhiều rượu, giờ nôn ra dịch vàng có vị đắng... Giờ phải làm sao BS?',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Evaluation

Metrics

Information Retrieval

Dataset: dim_768
Evaluated with InformationRetrievalEvaluator

Metric	Value
cosine_accuracy@1	0.6021
cosine_accuracy@3	0.7423
cosine_accuracy@5	0.7885
cosine_accuracy@10	0.8435
cosine_precision@1	0.6021
cosine_precision@3	0.2474
cosine_precision@5	0.1577
cosine_precision@10	0.0843
cosine_recall@1	0.6021
cosine_recall@3	0.7423
cosine_recall@5	0.7885
cosine_recall@10	0.8435
cosine_ndcg@10	0.7217
cosine_mrr@10	0.6828
cosine_map@100	0.6883

Training Details

Training Dataset

dataset_full_fixed

Dataset: dataset_full_fixed at ef2e7fd
Size: 54,755 training samples
Columns: positive and query
Approximate statistics based on the first 1000 samples:
positive query
type string string
details
min: 30 tokens
mean: 184.05 tokens
max: 256 tokens

min: 6 tokens
mean: 78.76 tokens
max: 256 tokens

	positive	query
type	string	string
details	min: 30 tokens mean: 184.05 tokens max: 256 tokens	min: 6 tokens mean: 78.76 tokens max: 256 tokens

Samples:

positive	query
Diane 35 và Mercilon đều là thuốc tránh thai thế hệ thứ 3 Chào em, Thuốc Diane 35 có hàm lượng cyproterone acetate 2 mg và ethinyl estradiol 0,035 mg. Mercilon thành phần có desogestrel 0.15mg, ethinyl estradiol 0.03mg. Cả hai đều là các thuốc tránh thai phối hợp gồm cả progestil và estrogen, thuốc thế hệ thứ 3, liều estrogen cực thấp để giảm tác dụng phụ của thuốc tránh thai. Thuốc có tác dụng tránh thai do: ngăn cản sự rụng trứng; Làm cho chất nhầy cổ tử cung đặc lại, khiến cho tinh trùng khó đi vào tử cung; Làm cho nội mạc tử cung mỏng khiến phôi khó bám vào tử cung. Điều này cũng giảm tỉ lệ có thai. Riêng Diane 35 còn có tác dụng trị mụn trứng cá khi những biện pháp điều trị khác không hiệu quả, các dạng tiết bã nhờ gây viêm, mủ hoặc chứng rụng tóc androgen di truyền hoặc đối với những trường hợp phát triển quá mức lông mặt hoặc lông cơ thể mức độ nhẹ đến trung bình không rõ nguyên nhân. Không có loại thuốc tránh thai nào là an toàn nhất cho tất cả mọi người, chỉ có loại nào phù hợ...	`Cho em hỏi là thuốc tránh thai Diane 35 và Mercilon thì lọai nào tốt và an toàn nhất ạ? Em cảm ơn bác sĩ.(Nguyễn Hà Phương Anh - 096690...)`
Chào cháu, Ban đêm bố cháu ngủ rất hay giật mình nói mơ, có thể do nhiều nguyên nhân như môi trường đang sinh sống (nhà chật chội, ồn ào, bụi bặm...), tâm lý không ổn định (có chuyện buồn bực, con cháu), trước khi ngủ xem phim có nội dung không vui, ăn tối quá trễ, ăn uống nhiều chất kích thích như rượu bia... Ngoài ra có thể do bệnh lý như tim mạch, huyết áp, tiểu đường, thoái hóa khớp, viêm đại tràng mãn... Mất ngủ ban đêm thì ban ngày, người già không có việc gì làm và ngủ bù lại đó là chuyện đương nhiên. Bên cạnh đó, các triệu chứng mệt mỏi, ăn không ngon có thể do nhiều bệnh lý khác nhau, trong đó có những bệnh đã nêu trên. Cháu nên đưa bố đi khám nội tổng quát để bác sĩ khám, chỉ định làm thêm cận lâm sàng như Xquang, siêu âm, nội soi, xét nghiệm máu... để tìm nguyên nhân và hướng dẫn điều trị nhé!	`Chào bác sĩ ạ,`

Cháu muốn hỏi cho bố cháu ạ. Bố cháu năm nay 60 tuổi, bị bệnh viêm họng mãn tính ạ. Gần đây bố cháu luôn cảm thấy mệt mỏi, ngủ li bì, ăn không ngon. Ban đêm ngủ rất hay bị giật mình và nói mơ. Bác sĩ cho hỏi là bố cháu bị bệnh gì ạ và nên điều trị như thế nào? Cháu xin cảm ơn! (Hồng Liên - Nam Định)
Phương pháp chẩn đoán & điều trị hội chứng hít phân su Phương pháp xét nghiệm và chẩn đoán hội chứng hít phân su Nghi ngờ trẻ có hội chứng hít phân su khi trẻ bị suy hô hấp nhưng không giải thích được bằng những nguyên nhân khác, nước ối có màu phân su. Khám lâm sàng có tình trạng nhịp tim chậm, thiếu oxy máu, tím tái, thở nhanh, bong tróc da. Chẩn đoán hội chứng hít phân su dựa vào các triệu chứng của trẻ và sự có mặt của phân su trong nước ối. Bác sĩ sẽ dùng ống nghe để phát hiện âm thở bất thường của trẻ như âm thanh thô, khàn. Một số xét nghiệm được dùng để xác định chẩn đoán: Khí máu động mạch: Lấy máu từ động mạch của trẻ nhằm đánh giá nồng độ oxy và cacbon dioxide trong máu xem trẻ có bị suy hô hấp không. Nếu có, khí máu động mạch còn giúp kiểm tra xem có tình trạng nhiễm toan máu hay không. X-quang ngực: Quan sát xem phân su và nước ối có vào phổi của trẻ hay chưa. Chụp X-quang sớm có thể không đặc hiệu. X-quang ngực có thể cho bác sĩ biết có tình trạng tràn khí màng phổi hay k...	`Phương pháp chẩn đoán & điều trị hội chứng hít phân su`

Loss: MultipleNegativesRankingLoss with these parameters:

{
    "scale": 20.0,
    "similarity_fct": "cos_sim"
}

Training Hyperparameters

Non-Default Hyperparameters

eval_strategy: epoch
per_device_train_batch_size: 100
per_device_eval_batch_size: 1
learning_rate: 1e-06
num_train_epochs: 10
lr_scheduler_type: constant_with_warmup
warmup_ratio: 0.1
bf16: True
tf32: False
load_best_model_at_end: True
optim: adamw_torch_fused
batch_sampler: no_duplicates

All Hyperparameters

Click to expand

overwrite_output_dir: False
do_predict: False
eval_strategy: epoch
prediction_loss_only: True
per_device_train_batch_size: 100
per_device_eval_batch_size: 1
per_gpu_train_batch_size: None
per_gpu_eval_batch_size: None
gradient_accumulation_steps: 1
eval_accumulation_steps: None
torch_empty_cache_steps: None
learning_rate: 1e-06
weight_decay: 0.0
adam_beta1: 0.9
adam_beta2: 0.999
adam_epsilon: 1e-08
max_grad_norm: 1.0
num_train_epochs: 10
max_steps: -1
lr_scheduler_type: constant_with_warmup
lr_scheduler_kwargs: {}
warmup_ratio: 0.1
warmup_steps: 0
log_level: passive
log_level_replica: warning
log_on_each_node: True
logging_nan_inf_filter: True
save_safetensors: True
save_on_each_node: False
save_only_model: False
restore_callback_states_from_checkpoint: False
no_cuda: False
use_cpu: False
use_mps_device: False
seed: 42
data_seed: None
jit_mode_eval: False
use_ipex: False
bf16: True
fp16: False
fp16_opt_level: O1
half_precision_backend: auto
bf16_full_eval: False
fp16_full_eval: False
tf32: False
local_rank: 0
ddp_backend: None
tpu_num_cores: None
tpu_metrics_debug: False
debug: []
dataloader_drop_last: False
dataloader_num_workers: 0
dataloader_prefetch_factor: None
past_index: -1
disable_tqdm: False
remove_unused_columns: True
label_names: None
load_best_model_at_end: True
ignore_data_skip: False
fsdp: []
fsdp_min_num_params: 0
fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
fsdp_transformer_layer_cls_to_wrap: None
accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
deepspeed: None
label_smoothing_factor: 0.0
optim: adamw_torch_fused
optim_args: None
adafactor: False
group_by_length: False
length_column_name: length
ddp_find_unused_parameters: None
ddp_bucket_cap_mb: None
ddp_broadcast_buffers: False
dataloader_pin_memory: True
dataloader_persistent_workers: False
skip_memory_metrics: True
use_legacy_prediction_loop: False
push_to_hub: False
resume_from_checkpoint: None
hub_model_id: None
hub_strategy: every_save
hub_private_repo: None
hub_always_push: False
gradient_checkpointing: False
gradient_checkpointing_kwargs: None
include_inputs_for_metrics: False
include_for_metrics: []
eval_do_concat_batches: True
fp16_backend: auto
push_to_hub_model_id: None
push_to_hub_organization: None
mp_parameters:
auto_find_batch_size: False
full_determinism: False
torchdynamo: None
ray_scope: last
ddp_timeout: 1800
torch_compile: False
torch_compile_backend: None
torch_compile_mode: None
dispatch_batches: None
split_batches: None
include_tokens_per_second: False
include_num_input_tokens_seen: False
neftune_noise_alpha: None
optim_target_modules: None
batch_eval_metrics: False
eval_on_start: False
use_liger_kernel: False
eval_use_gather_object: False
average_tokens_across_devices: False
prompts: None
batch_sampler: no_duplicates
multi_dataset_batch_sampler: proportional

Training Logs

Click to expand

Epoch	Step	Training Loss	dim_768_cosine_ndcg@10
-1	-1	-	0.3823
0.0228	10	2.3271	-
0.0456	20	2.3165	-
0.0683	30	2.386	-
0.0911	40	2.3527	-
0.1139	50	2.308	-
0.1367	60	2.2267	-
0.1595	70	2.1656	-
0.1822	80	2.1789	-
0.2050	90	2.1575	-
0.2278	100	2.132	-
0.2506	110	2.0667	-
0.2733	120	1.9973	-
0.2961	130	1.848	-
0.3189	140	1.8358	-
0.3417	150	1.8476	-
0.3645	160	1.7392	-
0.3872	170	1.6707	-
0.4100	180	1.5848	-
0.4328	190	1.4096	-
0.4556	200	1.5028	-
0.4784	210	1.3801	-
0.5011	220	1.3059	-
0.5239	230	1.3125	-
0.5467	240	1.3578	-
0.5695	250	1.2293	-
0.5923	260	1.175	-
0.6150	270	1.1782	-
0.6378	280	1.2484	-
0.6606	290	1.2164	-
0.6834	300	1.1434	-
0.7062	310	1.1522	-
0.7289	320	1.1329	-
0.7517	330	0.9712	-
0.7745	340	1.095	-
0.7973	350	1.0758	-
0.8200	360	1.0657	-
0.8428	370	1.088	-
0.8656	380	1.0128	-
0.8884	390	1.0081	-
0.9112	400	1.0201	-
0.9339	410	0.8858	-
0.9567	420	0.9356	-
0.9795	430	0.8815	-
1.0	439	-	0.5421
1.0023	440	0.8389	-
1.0251	450	0.8815	-
1.0478	460	0.8674	-
1.0706	470	0.8603	-
1.0934	480	0.8859	-
1.1162	490	0.8026	-
1.1390	500	0.8287	-
1.1617	510	0.8378	-
1.1845	520	0.7628	-
1.2073	530	0.8055	-
1.2301	540	0.8578	-
1.2528	550	0.7663	-
1.2756	560	0.8028	-
1.2984	570	0.776	-
1.3212	580	0.7375	-
1.3440	590	0.7946	-
1.3667	600	0.6915	-
1.3895	610	0.8192	-
1.4123	620	0.7992	-
1.4351	630	0.7652	-
1.4579	640	0.672	-
1.4806	650	0.7461	-
1.5034	660	0.8217	-
1.5262	670	0.7321	-
1.5490	680	0.6882	-
1.5718	690	0.7339	-
1.5945	700	0.7577	-
1.6173	710	0.682	-
1.6401	720	0.6409	-
1.6629	730	0.6658	-
1.6856	740	0.6759	-
1.7084	750	0.6302	-
1.7312	760	0.6481	-
1.7540	770	0.6551	-
1.7768	780	0.6226	-
1.7995	790	0.7273	-
1.8223	800	0.6997	-
1.8451	810	0.6635	-
1.8679	820	0.7269	-
1.8907	830	0.6301	-
1.9134	840	0.6391	-
1.9362	850	0.7097	-
1.9590	860	0.5785	-
1.9818	870	0.6373	-
2.0	878	-	0.6210
2.0046	880	0.55	-
2.0273	890	0.5756	-
2.0501	900	0.6114	-
2.0729	910	0.6008	-
2.0957	920	0.6012	-
2.1185	930	0.6142	-
2.1412	940	0.6525	-
2.1640	950	0.6225	-
2.1868	960	0.6034	-
2.2096	970	0.6011	-
2.2323	980	0.6112	-
2.2551	990	0.6409	-
2.2779	1000	0.5542	-
2.3007	1010	0.5877	-
2.3235	1020	0.6085	-
2.3462	1030	0.5452	-
2.3690	1040	0.5724	-
2.3918	1050	0.6177	-
2.4146	1060	0.6061	-
2.4374	1070	0.4973	-
2.4601	1080	0.5878	-
2.4829	1090	0.5437	-
2.5057	1100	0.531	-
2.5285	1110	0.5634	-
2.5513	1120	0.5726	-
2.5740	1130	0.5228	-
2.5968	1140	0.5638	-
2.6196	1150	0.604	-
2.6424	1160	0.5769	-
2.6651	1170	0.5566	-
2.6879	1180	0.5435	-
2.7107	1190	0.6314	-
2.7335	1200	0.5822	-
2.7563	1210	0.5456	-
2.7790	1220	0.6506	-
2.8018	1230	0.5742	-
2.8246	1240	0.5566	-
2.8474	1250	0.4964	-
2.8702	1260	0.5714	-
2.8929	1270	0.5259	-
2.9157	1280	0.511	-
2.9385	1290	0.5069	-
2.9613	1300	0.5634	-
2.9841	1310	0.5511	-
3.0	1317	-	0.6537
3.0068	1320	0.4448	-
3.0296	1330	0.531	-
3.0524	1340	0.4609	-
3.0752	1350	0.5607	-
3.0979	1360	0.5366	-
3.1207	1370	0.5243	-
3.1435	1380	0.5572	-
3.1663	1390	0.4808	-
3.1891	1400	0.54	-
3.2118	1410	0.4483	-
3.2346	1420	0.4975	-
3.2574	1430	0.4924	-
3.2802	1440	0.5608	-
3.3030	1450	0.549	-
3.3257	1460	0.5042	-
3.3485	1470	0.5129	-
3.3713	1480	0.4792	-
3.3941	1490	0.5282	-
3.4169	1500	0.4945	-
3.4396	1510	0.489	-
3.4624	1520	0.5277	-
3.4852	1530	0.474	-
3.5080	1540	0.5269	-
3.5308	1550	0.4729	-
3.5535	1560	0.5184	-
3.5763	1570	0.4925	-
3.5991	1580	0.4985	-
3.6219	1590	0.5525	-
3.6446	1600	0.5583	-
3.6674	1610	0.4281	-
3.6902	1620	0.4694	-
3.7130	1630	0.5124	-
3.7358	1640	0.4629	-
3.7585	1650	0.4913	-
3.7813	1660	0.4565	-
3.8041	1670	0.4993	-
3.8269	1680	0.4669	-
3.8497	1690	0.4567	-
3.8724	1700	0.4726	-
3.8952	1710	0.4727	-
3.9180	1720	0.5069	-
3.9408	1730	0.4791	-
3.9636	1740	0.4317	-
3.9863	1750	0.4859	-
4.0	1756	-	0.6752
4.0091	1760	0.4869	-
4.0319	1770	0.4853	-
4.0547	1780	0.4404	-
4.0774	1790	0.493	-
4.1002	1800	0.4662	-
4.1230	1810	0.4913	-
4.1458	1820	0.4416	-
4.1686	1830	0.5061	-
4.1913	1840	0.4619	-
4.2141	1850	0.446	-
4.2369	1860	0.3942	-
4.2597	1870	0.4309	-
4.2825	1880	0.4404	-
4.3052	1890	0.4461	-
4.3280	1900	0.4428	-
4.3508	1910	0.4923	-
4.3736	1920	0.4115	-
4.3964	1930	0.452	-
4.4191	1940	0.4765	-
4.4419	1950	0.4358	-
4.4647	1960	0.4604	-
4.4875	1970	0.3788	-
4.5103	1980	0.4604	-
4.5330	1990	0.4655	-
4.5558	2000	0.5056	-
4.5786	2010	0.4506	-
4.6014	2020	0.4329	-
4.6241	2030	0.4542	-
4.6469	2040	0.4259	-
4.6697	2050	0.4082	-
4.6925	2060	0.4067	-
4.7153	2070	0.4338	-
4.7380	2080	0.4695	-
4.7608	2090	0.4658	-
4.7836	2100	0.4158	-
4.8064	2110	0.4813	-
4.8292	2120	0.4334	-
4.8519	2130	0.4083	-
4.8747	2140	0.4308	-
4.8975	2150	0.4817	-
4.9203	2160	0.4345	-
4.9431	2170	0.4489	-
4.9658	2180	0.4061	-
4.9886	2190	0.5031	-
5.0	2195	-	0.6886
5.0114	2200	0.4272	-
5.0342	2210	0.3952	-
5.0569	2220	0.4221	-
5.0797	2230	0.4681	-
5.1025	2240	0.3909	-
5.1253	2250	0.4624	-
5.1481	2260	0.4118	-
5.1708	2270	0.3876	-
5.1936	2280	0.4158	-
5.2164	2290	0.3856	-
5.2392	2300	0.4665	-
5.2620	2310	0.3855	-
5.2847	2320	0.4263	-
5.3075	2330	0.3896	-
5.3303	2340	0.4064	-
5.3531	2350	0.382	-
5.3759	2360	0.4415	-
5.3986	2370	0.4111	-
5.4214	2380	0.3737	-
5.4442	2390	0.4833	-
5.4670	2400	0.4473	-
5.4897	2410	0.4275	-
5.5125	2420	0.4521	-
5.5353	2430	0.4135	-
5.5581	2440	0.4558	-
5.5809	2450	0.3924	-
5.6036	2460	0.3892	-
5.6264	2470	0.4093	-
5.6492	2480	0.4048	-
5.6720	2490	0.3932	-
5.6948	2500	0.4299	-
5.7175	2510	0.3998	-
5.7403	2520	0.4173	-
5.7631	2530	0.4005	-
5.7859	2540	0.4035	-
5.8087	2550	0.4259	-
5.8314	2560	0.4344	-
5.8542	2570	0.4137	-
5.8770	2580	0.3932	-
5.8998	2590	0.3561	-
5.9226	2600	0.4195	-
5.9453	2610	0.3625	-
5.9681	2620	0.4776	-
5.9909	2630	0.3927	-
6.0	2634	-	0.6980
6.0137	2640	0.3621	-
6.0364	2650	0.3627	-
6.0592	2660	0.36	-
6.0820	2670	0.3906	-
6.1048	2680	0.3993	-
6.1276	2690	0.3607	-
6.1503	2700	0.4393	-
6.1731	2710	0.3761	-
6.1959	2720	0.4013	-
6.2187	2730	0.3952	-
6.2415	2740	0.3877	-
6.2642	2750	0.4058	-
6.2870	2760	0.3631	-
6.3098	2770	0.3939	-
6.3326	2780	0.3547	-
6.3554	2790	0.4011	-
6.3781	2800	0.3888	-
6.4009	2810	0.4177	-
6.4237	2820	0.375	-
6.4465	2830	0.4024	-
6.4692	2840	0.4299	-
6.4920	2850	0.4286	-
6.5148	2860	0.4365	-
6.5376	2870	0.3754	-
6.5604	2880	0.4398	-
6.5831	2890	0.4182	-
6.6059	2900	0.4156	-
6.6287	2910	0.4277	-
6.6515	2920	0.3795	-
6.6743	2930	0.3933	-
6.6970	2940	0.3678	-
6.7198	2950	0.3622	-
6.7426	2960	0.3942	-
6.7654	2970	0.3596	-
6.7882	2980	0.353	-
6.8109	2990	0.3765	-
6.8337	3000	0.3394	-
6.8565	3010	0.3868	-
6.8793	3020	0.3802	-
6.9021	3030	0.3344	-
6.9248	3040	0.3663	-
6.9476	3050	0.3417	-
6.9704	3060	0.3957	-
6.9932	3070	0.3365	-
7.0	3073	-	0.7059
7.0159	3080	0.3907	-
7.0387	3090	0.345	-
7.0615	3100	0.3976	-
7.0843	3110	0.3754	-
7.1071	3120	0.393	-
7.1298	3130	0.3312	-
7.1526	3140	0.2866	-
7.1754	3150	0.3727	-
7.1982	3160	0.4176	-
7.2210	3170	0.3427	-
7.2437	3180	0.4139	-
7.2665	3190	0.3639	-
7.2893	3200	0.3493	-
7.3121	3210	0.3677	-
7.3349	3220	0.4238	-
7.3576	3230	0.3344	-
7.3804	3240	0.3708	-
7.4032	3250	0.3859	-
7.4260	3260	0.3553	-
7.4487	3270	0.4186	-
7.4715	3280	0.3729	-
7.4943	3290	0.3309	-
7.5171	3300	0.3942	-
7.5399	3310	0.3248	-
7.5626	3320	0.3931	-
7.5854	3330	0.3766	-
7.6082	3340	0.3419	-
7.6310	3350	0.3189	-
7.6538	3360	0.3539	-
7.6765	3370	0.3218	-
7.6993	3380	0.3548	-
7.7221	3390	0.3936	-
7.7449	3400	0.3628	-
7.7677	3410	0.3579	-
7.7904	3420	0.4076	-
7.8132	3430	0.3518	-
7.8360	3440	0.3125	-
7.8588	3450	0.3821	-
7.8815	3460	0.3523	-
7.9043	3470	0.3991	-
7.9271	3480	0.2994	-
7.9499	3490	0.3548	-
7.9727	3500	0.3254	-
7.9954	3510	0.3447	-
8.0	3512	-	0.7119
8.0182	3520	0.3045	-
8.0410	3530	0.3321	-
8.0638	3540	0.3302	-
8.0866	3550	0.3695	-
8.1093	3560	0.3506	-
8.1321	3570	0.3277	-
8.1549	3580	0.3815	-
8.1777	3590	0.2914	-
8.2005	3600	0.3355	-
8.2232	3610	0.3102	-
8.2460	3620	0.3827	-
8.2688	3630	0.3344	-
8.2916	3640	0.3358	-
8.3144	3650	0.3384	-
8.3371	3660	0.3683	-
8.3599	3670	0.3243	-
8.3827	3680	0.3501	-
8.4055	3690	0.3547	-
8.4282	3700	0.314	-
8.4510	3710	0.3536	-
8.4738	3720	0.3426	-
8.4966	3730	0.3353	-
8.5194	3740	0.3422	-
8.5421	3750	0.3292	-
8.5649	3760	0.361	-
8.5877	3770	0.394	-
8.6105	3780	0.3965	-
8.6333	3790	0.3042	-
8.6560	3800	0.3739	-
8.6788	3810	0.3484	-
8.7016	3820	0.3655	-
8.7244	3830	0.3836	-
8.7472	3840	0.2993	-
8.7699	3850	0.3781	-
8.7927	3860	0.3324	-
8.8155	3870	0.3314	-
8.8383	3880	0.2868	-
8.8610	3890	0.3728	-
8.8838	3900	0.3565	-
8.9066	3910	0.3588	-
8.9294	3920	0.3326	-
8.9522	3930	0.3395	-
8.9749	3940	0.3587	-
8.9977	3950	0.3497	-
9.0	3951	-	0.7171
9.0205	3960	0.277	-
9.0433	3970	0.3738	-
9.0661	3980	0.3225	-
9.0888	3990	0.3232	-
9.1116	4000	0.3892	-
9.1344	4010	0.3722	-
9.1572	4020	0.3099	-
9.1800	4030	0.3146	-
9.2027	4040	0.3725	-
9.2255	4050	0.3577	-
9.2483	4060	0.3034	-
9.2711	4070	0.3548	-
9.2938	4080	0.335	-
9.3166	4090	0.3241	-
9.3394	4100	0.3289	-
9.3622	4110	0.3598	-
9.3850	4120	0.2929	-
9.4077	4130	0.3302	-
9.4305	4140	0.3301	-
9.4533	4150	0.3403	-
9.4761	4160	0.2941	-
9.4989	4170	0.3033	-
9.5216	4180	0.2999	-
9.5444	4190	0.306	-
9.5672	4200	0.2709	-
9.5900	4210	0.3635	-
9.6128	4220	0.3121	-
9.6355	4230	0.318	-
9.6583	4240	0.2692	-
9.6811	4250	0.3425	-
9.7039	4260	0.2821	-
9.7267	4270	0.3549	-
9.7494	4280	0.3659	-
9.7722	4290	0.2974	-
9.7950	4300	0.3742	-
9.8178	4310	0.3682	-
9.8405	4320	0.346	-
9.8633	4330	0.3934	-
9.8861	4340	0.317	-
9.9089	4350	0.288	-
9.9317	4360	0.3109	-
9.9544	4370	0.3283	-
9.9772	4380	0.2708	-
10.0	4390	0.2367	0.7217

The bold row denotes the saved checkpoint.

Framework Versions

Python: 3.10.16
Sentence Transformers: 3.4.1
Transformers: 4.49.0
PyTorch: 2.6.0+cu124
Accelerate: 1.5.2
Datasets: 3.3.2
Tokenizers: 0.21.0

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MultipleNegativesRankingLoss

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply},
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}