Hugging Face's logo

TARARARAK
/
HGU_rulebook-fine-tuned-Kure-v1-article_MultipleNegativesRankingLoss_fold0_7_5e-06

Sentence Similarity
sentence-transformers
Safetensors
xlm-roberta
feature-extraction
Generated from Trainer
dataset_size:68
loss:MultipleNegativesRankingLoss
text-embeddings-inference
Model card Files Community

SentenceTransformer based on nlpai-lab/KURE-v1

This is a sentence-transformers model finetuned from nlpai-lab/KURE-v1. It maps sentences & paragraphs to a 1024-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

  • Model Type: Sentence Transformer
  • Base model: nlpai-lab/KURE-v1
  • Maximum Sequence Length: 512 tokens
  • Output Dimensionality: 1024 dimensions
  • Similarity Function: Cosine Similarity

Model Sources

Full Model Architecture 

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: XLMRobertaModel 
  (1): Pooling({'word_embedding_dimension': 1024, 'pooling_mode_cls_token': True, 'pooling_mode_mean_tokens': False, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("sentence_transformers_model_id")
# Run inference
sentences = [
    '입학 부정행위가 있으면 한동대에서는 어떤 조치를 하나요?',
    '제 16 조 (입학허가 및 특별과정)\n입학은 총장이 허가하되, 제출 서류의 허위기재, 서류의 위조, 변조, 대리시험 또는 시험부정행위 등 입학 부정행위가 입학허가 전에 그 사실이 판명된 때에는 불합격처리하고 입학허가 후에 사실이 판명된 때에도 입학을 취소한다.\n특별과정 운영에 관한 세부사항은 총장이 따로 정한다.',
    '제 19 조 (편입학)\n입학전형은 당해연도 교육부의 대학 편입학 전형 기본계획과 이 대학교 모집요강에 따라 선발한다.\n편입학은 편입학 하고자 하는 학년의 직전 학기까지의 과정을 수료한 자 또는 이와 동등이상의 학력이 있다고 인정된 자로서 모집단위 별 1학년 또는 2학년 학생 중 직전 학기 및 직전 학년도에 제적된 인원을 소정의 절차를 거쳐 모집할 수 있다.\n다만, 법령이 정하는 경우는 정원의 제한 없이 정원외 편입학을 허가할 수 있다.\n학사학위를 취득한 자는 3학년에 편입학할 수 있다.\n다만, 편입학할 수 있는 인원은 당해 학년 입학정원의 5퍼센트 이내이어야 하고, 당해 학년 모집단위별 입학정원의 10퍼센트를 초과할 수 없다.\n제출 서류의 허위기재, 서류의 위조, 변조, 대리시험 또는 시험부정행위 등 편입학 부정행위가 편입학허가 전에 그 사실이 판명된 때에는 불합격처리 하고 편입학 허가 후에 사실이 판명된 때에도 편입학을 취소하고 학적을 말소한다. \n편입학한 학생이 전적학교에서 취득한 학점은 졸업 학점의 2분의 1 범위내에서 이 대학교 학점으로 인정할 수 있다.',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 1024]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Training Details

Training Dataset

Unnamed Dataset

  • Size: 68 training samples
  • Columns: sentence_0 and sentence_1
  • Approximate statistics based on the first 68 samples:
    sentence_0 sentence_1
    type string string
    details
    • min: 12 tokens
    • mean: 25.01 tokens
    • max: 43 tokens
    • min: 18 tokens
    • mean: 112.38 tokens
    • max: 512 tokens
  • Samples:
    sentence_0 sentence_1
    한동대학교에서 어떤 경우에 제적 처리가 되나요? 특별한 사정이 있으면 예외가 인정되기도 하나요? 제 28 조 (제적)
    학생으로서 다음 각호의 1에 해당하는 자는 제적한다.
    휴학기간 경과후 복학하여야 하는 학기의 소정기간내에 복학하지 않은 자.
    등록금 분납신청자중 소정의 기간내에 완납하지 못한 자.
    학사경고를 연속 3회 또는 통산 4회 받은 자.
    재학연한을 초과한 자.
    제1항 제1호의 경우 제적 처리를 원칙으로 하되, 교무처장이 인정하는 경우, 해당학기에 휴학연장으로 처리할 수 있다.
    제1항 제4호의 경우 제적 처리를 원칙으로 하되, 질병 또는 이에 준하는 특별한 사유가 있다고 총장이 인정한 경우에는 1회에 한하여 제적을 유보하고 권고휴학을 하도록 할 수 있다.
    한동대학교에서는 수강한 과목을 철회하거나 다시 들을 수 있나요? 재이수는 어떤 기준으로 가능한가요? 제 43 조 (수강과목 철회 및 재이수)
    수강신청한 과목을 철회할 수 있으며, 이에 관한 세부사항은 학사운영규정으로 정한다.
    이미 이수한 과목을 재이수하고자 할 때는 재이수 신청을 하여 이미 취득한 학점을 취소하고 재이수할 수 있다.
    재이수는 성적이 "C+"이하인 과목에 한하여 허용한다. 다만, 총장이 특별히 필요하다고 인정하는 경우에는 그러하지 아니하다.
    한동대학교에서는 실험실습비나 기타 납입금을 별도로 징수하나요? 제 62 조 (실험실습비 및 기타 납입금)
    실험실습비 및 기타 납입금에 관한 비용은 실비를 따로 징수할 수 있다.
  • Loss: MultipleNegativesRankingLoss with these parameters:
    {
    "scale": 20.0,
    "similarity_fct": "cos_sim"
}

Training Hyperparameters

Non-Default Hyperparameters

  • eval_strategy: steps
  • per_device_train_batch_size: 1
  • per_device_eval_batch_size: 1
  • num_train_epochs: 7
  • fp16: True
  • multi_dataset_batch_sampler: round_robin

All Hyperparameters

Click to expand
  • overwrite_output_dir: False
  • do_predict: False
  • eval_strategy: steps
  • prediction_loss_only: True
  • per_device_train_batch_size: 1
  • per_device_eval_batch_size: 1
  • per_gpu_train_batch_size: None
  • per_gpu_eval_batch_size: None
  • gradient_accumulation_steps: 1
  • eval_accumulation_steps: None
  • torch_empty_cache_steps: None
  • learning_rate: 5e-05
  • weight_decay: 0.0
  • adam_beta1: 0.9
  • adam_beta2: 0.999
  • adam_epsilon: 1e-08
  • max_grad_norm: 1
  • num_train_epochs: 7
  • max_steps: -1
  • lr_scheduler_type: linear
  • lr_scheduler_kwargs: {}
  • warmup_ratio: 0.0
  • warmup_steps: 0
  • log_level: passive
  • log_level_replica: warning
  • log_on_each_node: True
  • logging_nan_inf_filter: True
  • save_safetensors: True
  • save_on_each_node: False
  • save_only_model: False
  • restore_callback_states_from_checkpoint: False
  • no_cuda: False
  • use_cpu: False
  • use_mps_device: False
  • seed: 42
  • data_seed: None
  • jit_mode_eval: False
  • use_ipex: False
  • bf16: False
  • fp16: True
  • fp16_opt_level: O1
  • half_precision_backend: auto
  • bf16_full_eval: False
  • fp16_full_eval: False
  • tf32: None
  • local_rank: 0
  • ddp_backend: None
  • tpu_num_cores: None
  • tpu_metrics_debug: False
  • debug: []
  • dataloader_drop_last: False
  • dataloader_num_workers: 0
  • dataloader_prefetch_factor: None
  • past_index: -1
  • disable_tqdm: False
  • remove_unused_columns: True
  • label_names: None
  • load_best_model_at_end: False
  • ignore_data_skip: False
  • fsdp: []
  • fsdp_min_num_params: 0
  • fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
  • fsdp_transformer_layer_cls_to_wrap: None
  • accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
  • deepspeed: None
  • label_smoothing_factor: 0.0
  • optim: adamw_torch
  • optim_args: None
  • adafactor: False
  • group_by_length: False
  • length_column_name: length
  • ddp_find_unused_parameters: None
  • ddp_bucket_cap_mb: None
  • ddp_broadcast_buffers: False
  • dataloader_pin_memory: True
  • dataloader_persistent_workers: False
  • skip_memory_metrics: True
  • use_legacy_prediction_loop: False
  • push_to_hub: False
  • resume_from_checkpoint: None
  • hub_model_id: None
  • hub_strategy: every_save
  • hub_private_repo: False
  • hub_always_push: False
  • gradient_checkpointing: False
  • gradient_checkpointing_kwargs: None
  • include_inputs_for_metrics: False
  • include_for_metrics: []
  • eval_do_concat_batches: True
  • fp16_backend: auto
  • push_to_hub_model_id: None
  • push_to_hub_organization: None
  • mp_parameters:
  • auto_find_batch_size: False
  • full_determinism: False
  • torchdynamo: None
  • ray_scope: last
  • ddp_timeout: 1800
  • torch_compile: False
  • torch_compile_backend: None
  • torch_compile_mode: None
  • dispatch_batches: None
  • split_batches: None
  • include_tokens_per_second: False
  • include_num_input_tokens_seen: False
  • neftune_noise_alpha: None
  • optim_target_modules: None
  • batch_eval_metrics: False
  • eval_on_start: False
  • use_liger_kernel: False
  • eval_use_gather_object: False
  • average_tokens_across_devices: False
  • prompts: None
  • batch_sampler: batch_sampler
  • multi_dataset_batch_sampler: round_robin

Training Logs

Epoch Step
0.5882 20

Framework Versions

  • Python: 3.10.13
  • Sentence Transformers: 3.3.1
  • Transformers: 4.46.2
  • PyTorch: 2.0.1+cu118
  • Accelerate: 0.34.2
  • Datasets: 3.0.0
  • Tokenizers: 0.20.1

Citation

BibTeX

Sentence Transformers 

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MultipleNegativesRankingLoss 

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply},
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}
Downloads last month
3
Safetensors
Model size
568M params
Tensor type
F32
·
Inference Providers NEW
Sentence Similarity
This model isn't deployed by any Inference Provider. 🙋 Ask for provider support

Model tree for TARARARAK/HGU_rulebook-fine-tuned-Kure-v1-article_MultipleNegativesRankingLoss_fold0_7_5e-06

Base model

BAAI/bge-m3
Finetuned
nlpai-lab/KURE-v1
Finetuned
(11)
this model