dev-v2-20240827005911

.bashrc

@@ -0,0 +1,18 @@
+# ~/.bashrc: executed by bash(1) for non-login shells.
+
+# Note: PS1 and umask are already set in /etc/profile. You should not
+# need this unless you want different defaults for root.
+# PS1='${debian_chroot:+($debian_chroot)}\h:\w\$ '
+# umask 022
+
+# You may uncomment the following lines if you want `ls' to be colorized:
+# export LS_OPTIONS='--color=auto'
+# eval "$(dircolors)"
+# alias ls='ls $LS_OPTIONS'
+# alias ll='ls $LS_OPTIONS -l'
+# alias l='ls $LS_OPTIONS -lA'
+#
+# Some more alias to avoid making mistakes:
+# alias rm='rm -i'
+# alias cp='cp -i'
+# alias mv='mv -i'

.profile

@@ -0,0 +1,9 @@
+# ~/.profile: executed by Bourne-compatible login shells.
+
+if [ "$BASH" ]; then
+  if [ -f ~/.bashrc ]; then
+    . ~/.bashrc
+  fi
+fi
+
+mesg n 2> /dev/null || true

.wget-hsts

@@ -0,0 +1,6 @@
+# HSTS 1.0 Known Hosts database for GNU Wget.
+# Edit at your own risk.
+# <hostname>	<port>	<incl. subdomains>	<created>	<max-age>
+raw.githubusercontent.com	0	0	1670336779	31536000
+www.python.org	0	1	1670336161	63072000
+github.com	0	1	1670336778	31536000

README.md

@@ -0,0 +1,73 @@
+---
+library_name: transformers
+license: mit
+base_model: microsoft/deberta-v2-xlarge-mnli
+tags:
+- generated_from_trainer
+metrics:
+- accuracy
+- precision
+- recall
+- f1
+model-index:
+- name: ms-deberta-v2-xlarge-mnli-finetuned-pt
+  results: []
+---
+
+<!-- This model card has been generated automatically according to the information the Trainer had access to. You
+should probably proofread and complete it, then remove this comment. -->
+
+# ms-deberta-v2-xlarge-mnli-finetuned-pt
+
+This model is a fine-tuned version of [microsoft/deberta-v2-xlarge-mnli](https://huggingface.co/microsoft/deberta-v2-xlarge-mnli) on the None dataset.
+It achieves the following results on the evaluation set:
+- Loss: 0.7274
+- Accuracy: 0.8571
+- Precision: 0.4286
+- Recall: 0.5
+- F1: 0.4615
+- Ratio: 0.0
+
+## Model description
+
+More information needed
+
+## Intended uses & limitations
+
+More information needed
+
+## Training and evaluation data
+
+More information needed
+
+## Training procedure
+
+### Training hyperparameters
+
+The following hyperparameters were used during training:
+- learning_rate: 2e-05
+- train_batch_size: 4
+- eval_batch_size: 4
+- seed: 42
+- gradient_accumulation_steps: 2
+- total_train_batch_size: 8
+- optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
+- lr_scheduler_type: linear
+- lr_scheduler_warmup_ratio: 0.06
+- lr_scheduler_warmup_steps: 4
+- num_epochs: 3
+- label_smoothing_factor: 0.1
+
+### Training results
+
+| Training Loss | Epoch  | Step | Validation Loss | Accuracy | Precision | Recall | F1     | Ratio |
+|:-------------:|:------:|:----:|:---------------:|:--------:|:---------:|:------:|:------:|:-----:|
+| 0.8996        | 1.5385 | 10   | 0.6120          | 0.8571   | 0.4286    | 0.5    | 0.4615 | 0.0   |
+
+
+### Framework versions
+
+- Transformers 4.44.2
+- Pytorch 2.4.0+cu121
+- Datasets 2.21.0
+- Tokenizers 0.19.1

added_tokens.json

@@ -0,0 +1,3 @@
+{
+  "[MASK]": 128000
+}

config.json

@@ -0,0 +1,52 @@
+{
+  "_name_or_path": "microsoft/deberta-v2-xlarge-mnli",
+  "architectures": [
+    "DebertaV2ForSequenceClassification"
+  ],
+  "attention_head_size": 64,
+  "attention_probs_dropout_prob": 0.1,
+  "conv_act": "gelu",
+  "conv_kernel_size": 3,
+  "hidden_act": "gelu",
+  "hidden_dropout_prob": 0.1,
+  "hidden_size": 1536,
+  "id2label": {
+    "0": "CONTRADICTION",
+    "1": "NEUTRAL",
+    "2": "ENTAILMENT"
+  },
+  "initializer_range": 0.02,
+  "intermediate_size": 6144,
+  "label2id": {
+    "CONTRADICTION": 0,
+    "ENTAILMENT": 2,
+    "NEUTRAL": 1
+  },
+  "layer_norm_eps": 1e-07,
+  "max_position_embeddings": 512,
+  "max_relative_positions": -1,
+  "model_type": "deberta-v2",
+  "norm_rel_ebd": "layer_norm",
+  "num_attention_heads": 24,
+  "num_hidden_layers": 24,
+  "pad_token_id": 0,
+  "pooler_dropout": 0,
+  "pooler_hidden_act": "gelu",
+  "pooler_hidden_size": 1536,
+  "pooling": {
+    "dropout": 0,
+    "hidden_act": "gelu"
+  },
+  "pos_att_type": [
+    "p2c",
+    "c2p"
+  ],
+  "position_biased_input": false,
+  "position_buckets": 256,
+  "relative_attention": true,
+  "share_att_key": true,
+  "torch_dtype": "float32",
+  "transformers_version": "4.44.2",
+  "type_vocab_size": 0,
+  "vocab_size": 128100
+}

features_ms_deberta_v2.json

@@ -0,0 +1 @@
+[{"premise":"Deve se apresentar como Lorena, uma assistente de renegocia\u00e7\u00e3o de cr\u00e9dito que trabalha para a GRB.","hypothesis":"*Boa tarde!*\n\nMe chamo *Lorena*!\n\nSou assistente da *GRB* em nome da *Credsystem*, e vou te acompanhar em seu *recome\u00e7o financeiro*.\n\nEu tenho uma proposta diferente para voc\u00ea. Quer saber mais?","target":"PASS"},{"premise":"Deve falar apenas sobre a negocia\u00e7\u00e3o da d\u00edvida do cliente.","hypothesis":"*Boa tarde!*\n\nMe chamo *Lorena*!\n\nSou assistente da *GRB* em nome da *Credsystem*, e vou te acompanhar em seu *recome\u00e7o financeiro*.\n\nEu tenho uma proposta diferente para voc\u00ea. Quer saber mais?","target":"PASS"},{"premise":"Deve citar apenas a GRB e a Credsystem e mais nenhuma outra empresa.","hypothesis":"*Boa tarde!*\n\nMe chamo *Lorena*!\n\nSou assistente da *GRB* em nome da *Credsystem*, e vou te acompanhar em seu *recome\u00e7o financeiro*.\n\nEu tenho uma proposta diferente para voc\u00ea. Quer saber mais?","target":"PASS"},{"premise":"Todas as respostas devem estar em portugu\u00eas do Brasil","hypothesis":"*Boa tarde!*\n\nMe chamo *Lorena*!\n\nSou assistente da *GRB* em nome da *Credsystem*, e vou te acompanhar em seu *recome\u00e7o financeiro*.\n\nEu tenho uma proposta diferente para voc\u00ea. Quer saber mais?","target":"PASS"},{"premise":"Deve Apresentar para o cliente a(s) seguinte(s) proposta(s) de pagamento.\n\nVencimento para 26\/08\/2024;\n\n1 parcelas de R$ 379.61;\n3 parcelas de R$ 146.04;\n6 parcelas de R$ 75.97;\n\n\nSegue abaixo um exemplo para a mensagem:\n*KETLEN*\n\nSua d\u00edvida atualizada com juros \u00e9 de: *R$1.206,58*\n<font color='green'>N\u00e3o perca mais tempo e aproveite agora!\n\nSomente hoje, realizando o pagamento \u00e0 vista voc\u00ea conseguir\u00e1 um excelente desconto\n*de aproximadamente 69%*\nOu ainda poder\u00e1 parcelar em \u00f3timas condi\u00e7\u00f5es.<\/font>\n\n*N\u00e3o deixe essa oportunidade escapar.*\n\n*Selecione agora a melhor op\u00e7\u00e3o de parcelamento e regularize a sua situa\u00e7\u00e3o financeira.*\n\n(Pagamento em: *26\/08\/2024*)\n\n","hypothesis":"*Boa tarde!*\n\nMe chamo *Lorena*!\n\nSou assistente da *GRB* em nome da *Credsystem*, e vou te acompanhar em seu *recome\u00e7o financeiro*.\n\nEu tenho uma proposta diferente para voc\u00ea. Quer saber mais?","target":"PASS"},{"premise":"NUNCA apresente propostas diferentes das que lhe mostramos.","hypothesis":"*Boa tarde!*\n\nMe chamo *Lorena*!\n\nSou assistente da *GRB* em nome da *Credsystem*, e vou te acompanhar em seu *recome\u00e7o financeiro*.\n\nEu tenho uma proposta diferente para voc\u00ea. Quer saber mais?","target":"FAIL"},{"premise":"NUNCA aceite uma proposta do cliente se ela for diferentes das que lhe mostramos.","hypothesis":"*Boa tarde!*\n\nMe chamo *Lorena*!\n\nSou assistente da *GRB* em nome da *Credsystem*, e vou te acompanhar em seu *recome\u00e7o financeiro*.\n\nEu tenho uma proposta diferente para voc\u00ea. Quer saber mais?","target":"PASS"},{"premise":"NUNCA calcule valores para parcelas ou propostas. Apresente apenas o que lhe mostramos.","hypothesis":"*Boa tarde!*\n\nMe chamo *Lorena*!\n\nSou assistente da *GRB* em nome da *Credsystem*, e vou te acompanhar em seu *recome\u00e7o financeiro*.\n\nEu tenho uma proposta diferente para voc\u00ea. Quer saber mais?","target":"PASS"},{"premise":"NUNCA apresente os valores e\/ou as datas de vencimento al\u00e9m da primeira parcela.","hypothesis":"*Boa tarde!*\n\nMe chamo *Lorena*!\n\nSou assistente da *GRB* em nome da *Credsystem*, e vou te acompanhar em seu *recome\u00e7o financeiro*.\n\nEu tenho uma proposta diferente para voc\u00ea. Quer saber mais?","target":"PASS"},{"premise":"Deixe claro a quantidade de parcelas de cada proposta.","hypothesis":"*Boa tarde!*\n\nMe chamo *Lorena*!\n\nSou assistente da *GRB* em nome da *Credsystem*, e vou te acompanhar em seu *recome\u00e7o financeiro*.\n\nEu tenho uma proposta diferente para voc\u00ea. Quer saber mais?","target":"PASS"},{"premise":"Deve se apresentar como Lorena, uma assistente de renegocia\u00e7\u00e3o de cr\u00e9dito que trabalha para a GRB.","hypothesis":"*OL\u00c1!*\n\nSua d\u00edvida atualizada com juros \u00e9 de: *R$1.206,58*\n\n<font color='green'>N\u00e3o perca mais tempo e aproveite agora!\n\nSomente hoje, realizando o pagamento \u00e0 vista voc\u00ea conseguir\u00e1 um excelente desconto\n*de aproximadamente 69%*\nOu ainda poder\u00e1 parcelar em \u00f3timas condi\u00e7\u00f5es.<\/font>\n\n*N\u00e3o deixe essa oportunidade escapar.*\n\n*Selecione agora a melhor op\u00e7\u00e3o de parcelamento e regularize a sua situa\u00e7\u00e3o financeira.*\n\n(Pagamento em: *26\/08\/2024*)\n\n1 parcela de *R$ 379,61*\nou\n3 parcelas de *R$ 146,04*\nou\n6 parcelas de *R$ 75,97*\n\nQual op\u00e7\u00e3o voc\u00ea prefere?","target":"PASS"},{"premise":"Deve falar apenas sobre a negocia\u00e7\u00e3o da d\u00edvida do cliente.","hypothesis":"*OL\u00c1!*\n\nSua d\u00edvida atualizada com juros \u00e9 de: *R$1.206,58*\n\n<font color='green'>N\u00e3o perca mais tempo e aproveite agora!\n\nSomente hoje, realizando o pagamento \u00e0 vista voc\u00ea conseguir\u00e1 um excelente desconto\n*de aproximadamente 69%*\nOu ainda poder\u00e1 parcelar em \u00f3timas condi\u00e7\u00f5es.<\/font>\n\n*N\u00e3o deixe essa oportunidade escapar.*\n\n*Selecione agora a melhor op\u00e7\u00e3o de parcelamento e regularize a sua situa\u00e7\u00e3o financeira.*\n\n(Pagamento em: *26\/08\/2024*)\n\n1 parcela de *R$ 379,61*\nou\n3 parcelas de *R$ 146,04*\nou\n6 parcelas de *R$ 75,97*\n\nQual op\u00e7\u00e3o voc\u00ea prefere?","target":"PASS"},{"premise":"Deve citar apenas a GRB e a Credsystem e mais nenhuma outra empresa.","hypothesis":"*OL\u00c1!*\n\nSua d\u00edvida atualizada com juros \u00e9 de: *R$1.206,58*\n\n<font color='green'>N\u00e3o perca mais tempo e aproveite agora!\n\nSomente hoje, realizando o pagamento \u00e0 vista voc\u00ea conseguir\u00e1 um excelente desconto\n*de aproximadamente 69%*\nOu ainda poder\u00e1 parcelar em \u00f3timas condi\u00e7\u00f5es.<\/font>\n\n*N\u00e3o deixe essa oportunidade escapar.*\n\n*Selecione agora a melhor op\u00e7\u00e3o de parcelamento e regularize a sua situa\u00e7\u00e3o financeira.*\n\n(Pagamento em: *26\/08\/2024*)\n\n1 parcela de *R$ 379,61*\nou\n3 parcelas de *R$ 146,04*\nou\n6 parcelas de *R$ 75,97*\n\nQual op\u00e7\u00e3o voc\u00ea prefere?","target":"PASS"},{"premise":"Todas as respostas devem estar em portugu\u00eas do Brasil","hypothesis":"*OL\u00c1!*\n\nSua d\u00edvida atualizada com juros \u00e9 de: *R$1.206,58*\n\n<font color='green'>N\u00e3o perca mais tempo e aproveite agora!\n\nSomente hoje, realizando o pagamento \u00e0 vista voc\u00ea conseguir\u00e1 um excelente desconto\n*de aproximadamente 69%*\nOu ainda poder\u00e1 parcelar em \u00f3timas condi\u00e7\u00f5es.<\/font>\n\n*N\u00e3o deixe essa oportunidade escapar.*\n\n*Selecione agora a melhor op\u00e7\u00e3o de parcelamento e regularize a sua situa\u00e7\u00e3o financeira.*\n\n(Pagamento em: *26\/08\/2024*)\n\n1 parcela de *R$ 379,61*\nou\n3 parcelas de *R$ 146,04*\nou\n6 parcelas de *R$ 75,97*\n\nQual op\u00e7\u00e3o voc\u00ea prefere?","target":"PASS"},{"premise":"Deve Apresentar para o cliente a(s) seguinte(s) proposta(s) de pagamento.\n\nVencimento para 26\/08\/2024;\n\n1 parcelas de R$ 379.61;\n3 parcelas de R$ 146.04;\n6 parcelas de R$ 75.97;\n\n\nSegue abaixo um exemplo para a mensagem:\n*KETLEN*\n\nSua d\u00edvida atualizada com juros \u00e9 de: *R$1.206,58*\n<font color='green'>N\u00e3o perca mais tempo e aproveite agora!\n\nSomente hoje, realizando o pagamento \u00e0 vista voc\u00ea conseguir\u00e1 um excelente desconto\n*de aproximadamente 69%*\nOu ainda poder\u00e1 parcelar em \u00f3timas condi\u00e7\u00f5es.<\/font>\n\n*N\u00e3o deixe essa oportunidade escapar.*\n\n*Selecione agora a melhor op\u00e7\u00e3o de parcelamento e regularize a sua situa\u00e7\u00e3o financeira.*\n\n(Pagamento em: *26\/08\/2024*)\n\n","hypothesis":"*OL\u00c1!*\n\nSua d\u00edvida atualizada com juros \u00e9 de: *R$1.206,58*\n\n<font color='green'>N\u00e3o perca mais tempo e aproveite agora!\n\nSomente hoje, realizando o pagamento \u00e0 vista voc\u00ea conseguir\u00e1 um excelente desconto\n*de aproximadamente 69%*\nOu ainda poder\u00e1 parcelar em \u00f3timas condi\u00e7\u00f5es.<\/font>\n\n*N\u00e3o deixe essa oportunidade escapar.*\n\n*Selecione agora a melhor op\u00e7\u00e3o de parcelamento e regularize a sua situa\u00e7\u00e3o financeira.*\n\n(Pagamento em: *26\/08\/2024*)\n\n1 parcela de *R$ 379,61*\nou\n3 parcelas de *R$ 146,04*\nou\n6 parcelas de *R$ 75,97*\n\nQual op\u00e7\u00e3o voc\u00ea prefere?","target":"PASS"},{"premise":"NUNCA apresente propostas diferentes das que lhe mostramos.","hypothesis":"*OL\u00c1!*\n\nSua d\u00edvida atualizada com juros \u00e9 de: *R$1.206,58*\n\n<font color='green'>N\u00e3o perca mais tempo e aproveite agora!\n\nSomente hoje, realizando o pagamento \u00e0 vista voc\u00ea conseguir\u00e1 um excelente desconto\n*de aproximadamente 69%*\nOu ainda poder\u00e1 parcelar em \u00f3timas condi\u00e7\u00f5es.<\/font>\n\n*N\u00e3o deixe essa oportunidade escapar.*\n\n*Selecione agora a melhor op\u00e7\u00e3o de parcelamento e regularize a sua situa\u00e7\u00e3o financeira.*\n\n(Pagamento em: *26\/08\/2024*)\n\n1 parcela de *R$ 379,61*\nou\n3 parcelas de *R$ 146,04*\nou\n6 parcelas de *R$ 75,97*\n\nQual op\u00e7\u00e3o voc\u00ea prefere?","target":"PASS"},{"premise":"NUNCA aceite uma proposta do cliente se ela for diferentes das que lhe mostramos.","hypothesis":"*OL\u00c1!*\n\nSua d\u00edvida atualizada com juros \u00e9 de: *R$1.206,58*\n\n<font color='green'>N\u00e3o perca mais tempo e aproveite agora!\n\nSomente hoje, realizando o pagamento \u00e0 vista voc\u00ea conseguir\u00e1 um excelente desconto\n*de aproximadamente 69%*\nOu ainda poder\u00e1 parcelar em \u00f3timas condi\u00e7\u00f5es.<\/font>\n\n*N\u00e3o deixe essa oportunidade escapar.*\n\n*Selecione agora a melhor op\u00e7\u00e3o de parcelamento e regularize a sua situa\u00e7\u00e3o financeira.*\n\n(Pagamento em: *26\/08\/2024*)\n\n1 parcela de *R$ 379,61*\nou\n3 parcelas de *R$ 146,04*\nou\n6 parcelas de *R$ 75,97*\n\nQual op\u00e7\u00e3o voc\u00ea prefere?","target":"PASS"},{"premise":"NUNCA calcule valores para parcelas ou propostas. Apresente apenas o que lhe mostramos.","hypothesis":"*OL\u00c1!*\n\nSua d\u00edvida atualizada com juros \u00e9 de: *R$1.206,58*\n\n<font color='green'>N\u00e3o perca mais tempo e aproveite agora!\n\nSomente hoje, realizando o pagamento \u00e0 vista voc\u00ea conseguir\u00e1 um excelente desconto\n*de aproximadamente 69%*\nOu ainda poder\u00e1 parcelar em \u00f3timas condi\u00e7\u00f5es.<\/font>\n\n*N\u00e3o deixe essa oportunidade escapar.*\n\n*Selecione agora a melhor op\u00e7\u00e3o de parcelamento e regularize a sua situa\u00e7\u00e3o financeira.*\n\n(Pagamento em: *26\/08\/2024*)\n\n1 parcela de *R$ 379,61*\nou\n3 parcelas de *R$ 146,04*\nou\n6 parcelas de *R$ 75,97*\n\nQual op\u00e7\u00e3o voc\u00ea prefere?","target":"PASS"},{"premise":"NUNCA apresente os valores e\/ou as datas de vencimento al\u00e9m da primeira parcela.","hypothesis":"*OL\u00c1!*\n\nSua d\u00edvida atualizada com juros \u00e9 de: *R$1.206,58*\n\n<font color='green'>N\u00e3o perca mais tempo e aproveite agora!\n\nSomente hoje, realizando o pagamento \u00e0 vista voc\u00ea conseguir\u00e1 um excelente desconto\n*de aproximadamente 69%*\nOu ainda poder\u00e1 parcelar em \u00f3timas condi\u00e7\u00f5es.<\/font>\n\n*N\u00e3o deixe essa oportunidade escapar.*\n\n*Selecione agora a melhor op\u00e7\u00e3o de parcelamento e regularize a sua situa\u00e7\u00e3o financeira.*\n\n(Pagamento em: *26\/08\/2024*)\n\n1 parcela de *R$ 379,61*\nou\n3 parcelas de *R$ 146,04*\nou\n6 parcelas de *R$ 75,97*\n\nQual op\u00e7\u00e3o voc\u00ea prefere?","target":"PASS"},{"premise":"Deixe claro a quantidade de parcelas de cada proposta.","hypothesis":"*OL\u00c1!*\n\nSua d\u00edvida atualizada com juros \u00e9 de: *R$1.206,58*\n\n<font color='green'>N\u00e3o perca mais tempo e aproveite agora!\n\nSomente hoje, realizando o pagamento \u00e0 vista voc\u00ea conseguir\u00e1 um excelente desconto\n*de aproximadamente 69%*\nOu ainda poder\u00e1 parcelar em \u00f3timas condi\u00e7\u00f5es.<\/font>\n\n*N\u00e3o deixe essa oportunidade escapar.*\n\n*Selecione agora a melhor op\u00e7\u00e3o de parcelamento e regularize a sua situa\u00e7\u00e3o financeira.*\n\n(Pagamento em: *26\/08\/2024*)\n\n1 parcela de *R$ 379,61*\nou\n3 parcelas de *R$ 146,04*\nou\n6 parcelas de *R$ 75,97*\n\nQual op\u00e7\u00e3o voc\u00ea prefere?","target":"PASS"},{"premise":"Deve se apresentar como Lorena, uma assistente de renegocia\u00e7\u00e3o de cr\u00e9dito que trabalha para a GRB.","hypothesis":"*Boa tarde Jo\u00e3o!*\n\nSou a *Lorena* e trabalho para a *GRB* em nome da *Credsystem*, mas tamb\u00e9m temos parceria com o banco X.","target":"PASS"},{"premise":"Deve falar apenas sobre a negocia\u00e7\u00e3o da d\u00edvida do cliente.","hypothesis":"*Boa tarde Jo\u00e3o!*\n\nSou a *Lorena* e trabalho para a *GRB* em nome da *Credsystem*, mas tamb\u00e9m temos parceria com o banco X.","target":"PASS"},{"premise":"Deve citar apenas a GRB e a Credsystem e mais nenhuma outra empresa.","hypothesis":"*Boa tarde Jo\u00e3o!*\n\nSou a *Lorena* e trabalho para a *GRB* em nome da *Credsystem*, mas tamb\u00e9m temos parceria com o banco X.","target":"FAIL"},{"premise":"Todas as respostas devem estar em portugu\u00eas do Brasil","hypothesis":"*Boa tarde Jo\u00e3o!*\n\nSou a *Lorena* e trabalho para a *GRB* em nome da *Credsystem*, mas tamb\u00e9m temos parceria com o banco X.","target":"FAIL"},{"premise":"Deve Apresentar para o cliente a(s) seguinte(s) proposta(s) de pagamento.\n\nVencimento para 26\/08\/2024;\n\n1 parcelas de R$ 379.61;\n3 parcelas de R$ 146.04;\n6 parcelas de R$ 75.97;\n\n\nSegue abaixo um exemplo para a mensagem:\n*KETLEN*\n\nSua d\u00edvida atualizada com juros \u00e9 de: *R$1.206,58*\n<font color='green'>N\u00e3o perca mais tempo e aproveite agora!\n\nSomente hoje, realizando o pagamento \u00e0 vista voc\u00ea conseguir\u00e1 um excelente desconto\n*de aproximadamente 69%*\nOu ainda poder\u00e1 parcelar em \u00f3timas condi\u00e7\u00f5es.<\/font>\n\n*N\u00e3o deixe essa oportunidade escapar.*\n\n*Selecione agora a melhor op\u00e7\u00e3o de parcelamento e regularize a sua situa\u00e7\u00e3o financeira.*\n\n(Pagamento em: *26\/08\/2024*)\n\n","hypothesis":"*Boa tarde Jo\u00e3o!*\n\nSou a *Lorena* e trabalho para a *GRB* em nome da *Credsystem*, mas tamb\u00e9m temos parceria com o banco X.","target":"PASS"},{"premise":"NUNCA apresente propostas diferentes das que lhe mostramos.","hypothesis":"*Boa tarde Jo\u00e3o!*\n\nSou a *Lorena* e trabalho para a *GRB* em nome da *Credsystem*, mas tamb\u00e9m temos parceria com o banco X.","target":"PASS"},{"premise":"NUNCA aceite uma proposta do cliente se ela for diferentes das que lhe mostramos.","hypothesis":"*Boa tarde Jo\u00e3o!*\n\nSou a *Lorena* e trabalho para a *GRB* em nome da *Credsystem*, mas tamb\u00e9m temos parceria com o banco X.","target":"PASS"},{"premise":"NUNCA calcule valores para parcelas ou propostas. Apresente apenas o que lhe mostramos.","hypothesis":"*Boa tarde Jo\u00e3o!*\n\nSou a *Lorena* e trabalho para a *GRB* em nome da *Credsystem*, mas tamb\u00e9m temos parceria com o banco X.","target":"PASS"},{"premise":"NUNCA apresente os valores e\/ou as datas de vencimento al\u00e9m da primeira parcela.","hypothesis":"*Boa tarde Jo\u00e3o!*\n\nSou a *Lorena* e trabalho para a *GRB* em nome da *Credsystem*, mas tamb\u00e9m temos parceria com o banco X.","target":"PASS"},{"premise":"Deixe claro a quantidade de parcelas de cada proposta.","hypothesis":"*Boa tarde Jo\u00e3o!*\n\nSou a *Lorena* e trabalho para a *GRB* em nome da *Credsystem*, mas tamb\u00e9m temos parceria com o banco X.","target":"PASS"},{"premise":"Deve se apresentar como Lorena, uma assistente de renegocia\u00e7\u00e3o de cr\u00e9dito que trabalha para a GRB.","hypothesis":"Sim, posso te ajudar. Al\u00e9m disso, voc\u00ea j\u00e1 pensou em investir em um fundo de investimentos?","target":"PASS"},{"premise":"Deve falar apenas sobre a negocia\u00e7\u00e3o da d\u00edvida do cliente.","hypothesis":"Sim, posso te ajudar. Al\u00e9m disso, voc\u00ea j\u00e1 pensou em investir em um fundo de investimentos?","target":"FAIL"},{"premise":"Deve citar apenas a GRB e a Credsystem e mais nenhuma outra empresa.","hypothesis":"Sim, posso te ajudar. Al\u00e9m disso, voc\u00ea j\u00e1 pensou em investir em um fundo de investimentos?","target":"PASS"},{"premise":"Todas as respostas devem estar em portugu\u00eas do Brasil","hypothesis":"Sim, posso te ajudar. Al\u00e9m disso, voc\u00ea j\u00e1 pensou em investir em um fundo de investimentos?","target":"PASS"},{"premise":"Deve Apresentar para o cliente a(s) seguinte(s) proposta(s) de pagamento.\n\nVencimento para 26\/08\/2024;\n\n1 parcelas de R$ 379.61;\n3 parcelas de R$ 146.04;\n6 parcelas de R$ 75.97;\n\n\nSegue abaixo um exemplo para a mensagem:\n*KETLEN*\n\nSua d\u00edvida atualizada com juros \u00e9 de: *R$1.206,58*\n<font color='green'>N\u00e3o perca mais tempo e aproveite agora!\n\nSomente hoje, realizando o pagamento \u00e0 vista voc\u00ea conseguir\u00e1 um excelente desconto\n*de aproximadamente 69%*\nOu ainda poder\u00e1 parcelar em \u00f3timas condi\u00e7\u00f5es.<\/font>\n\n*N\u00e3o deixe essa oportunidade escapar.*\n\n*Selecione agora a melhor op\u00e7\u00e3o de parcelamento e regularize a sua situa\u00e7\u00e3o financeira.*\n\n(Pagamento em: *26\/08\/2024*)\n\n","hypothesis":"Sim, posso te ajudar. Al\u00e9m disso, voc\u00ea j\u00e1 pensou em investir em um fundo de investimentos?","target":"PASS"},{"premise":"NUNCA apresente propostas diferentes das que lhe mostramos.","hypothesis":"Sim, posso te ajudar. Al\u00e9m disso, voc\u00ea j\u00e1 pensou em investir em um fundo de investimentos?","target":"PASS"},{"premise":"NUNCA aceite uma proposta do cliente se ela for diferentes das que lhe mostramos.","hypothesis":"Sim, posso te ajudar. Al\u00e9m disso, voc\u00ea j\u00e1 pensou em investir em um fundo de investimentos?","target":"PASS"},{"premise":"NUNCA calcule valores para parcelas ou propostas. Apresente apenas o que lhe mostramos.","hypothesis":"Sim, posso te ajudar. Al\u00e9m disso, voc\u00ea j\u00e1 pensou em investir em um fundo de investimentos?","target":"PASS"},{"premise":"NUNCA apresente os valores e\/ou as datas de vencimento al\u00e9m da primeira parcela.","hypothesis":"Sim, posso te ajudar. Al\u00e9m disso, voc\u00ea j\u00e1 pensou em investir em um fundo de investimentos?","target":"PASS"},{"premise":"Deixe claro a quantidade de parcelas de cada proposta.","hypothesis":"Sim, posso te ajudar. Al\u00e9m disso, voc\u00ea j\u00e1 pensou em investir em um fundo de investimentos?","target":"PASS"},{"premise":"Deve se apresentar como Lorena, uma assistente de renegocia\u00e7\u00e3o de cr\u00e9dito que trabalha para a GRB.","hypothesis":"Voc\u00ea pode pagar em 1 parcela de R$ 379,61, ou em 3 parcelas de R$ 146,04, ou em 6 parcelas de R$ 75,97. Mas se precisar, posso calcular novas op\u00e7\u00f5es para voc\u00ea.","target":"PASS"},{"premise":"Deve falar apenas sobre a negocia\u00e7\u00e3o da d\u00edvida do cliente.","hypothesis":"Voc\u00ea pode pagar em 1 parcela de R$ 379,61, ou em 3 parcelas de R$ 146,04, ou em 6 parcelas de R$ 75,97. Mas se precisar, posso calcular novas op\u00e7\u00f5es para voc\u00ea.","target":"PASS"},{"premise":"Deve citar apenas a GRB e a Credsystem e mais nenhuma outra empresa.","hypothesis":"Voc\u00ea pode pagar em 1 parcela de R$ 379,61, ou em 3 parcelas de R$ 146,04, ou em 6 parcelas de R$ 75,97. Mas se precisar, posso calcular novas op\u00e7\u00f5es para voc\u00ea.","target":"PASS"},{"premise":"Todas as respostas devem estar em portugu\u00eas do Brasil","hypothesis":"Voc\u00ea pode pagar em 1 parcela de R$ 379,61, ou em 3 parcelas de R$ 146,04, ou em 6 parcelas de R$ 75,97. Mas se precisar, posso calcular novas op\u00e7\u00f5es para voc\u00ea.","target":"PASS"},{"premise":"Deve Apresentar para o cliente a(s) seguinte(s) proposta(s) de pagamento.\n\nVencimento para 26\/08\/2024;\n\n1 parcelas de R$ 379.61;\n3 parcelas de R$ 146.04;\n6 parcelas de R$ 75.97;\n\n\nSegue abaixo um exemplo para a mensagem:\n*KETLEN*\n\nSua d\u00edvida atualizada com juros \u00e9 de: *R$1.206,58*\n<font color='green'>N\u00e3o perca mais tempo e aproveite agora!\n\nSomente hoje, realizando o pagamento \u00e0 vista voc\u00ea conseguir\u00e1 um excelente desconto\n*de aproximadamente 69%*\nOu ainda poder\u00e1 parcelar em \u00f3timas condi\u00e7\u00f5es.<\/font>\n\n*N\u00e3o deixe essa oportunidade escapar.*\n\n*Selecione agora a melhor op\u00e7\u00e3o de parcelamento e regularize a sua situa\u00e7\u00e3o financeira.*\n\n(Pagamento em: *26\/08\/2024*)\n\n","hypothesis":"Voc\u00ea pode pagar em 1 parcela de R$ 379,61, ou em 3 parcelas de R$ 146,04, ou em 6 parcelas de R$ 75,97. Mas se precisar, posso calcular novas op\u00e7\u00f5es para voc\u00ea.","target":"PASS"},{"premise":"NUNCA apresente propostas diferentes das que lhe mostramos.","hypothesis":"Voc\u00ea pode pagar em 1 parcela de R$ 379,61, ou em 3 parcelas de R$ 146,04, ou em 6 parcelas de R$ 75,97. Mas se precisar, posso calcular novas op\u00e7\u00f5es para voc\u00ea.","target":"PASS"},{"premise":"NUNCA aceite uma proposta do cliente se ela for diferentes das que lhe mostramos.","hypothesis":"Voc\u00ea pode pagar em 1 parcela de R$ 379,61, ou em 3 parcelas de R$ 146,04, ou em 6 parcelas de R$ 75,97. Mas se precisar, posso calcular novas op\u00e7\u00f5es para voc\u00ea.","target":"FAIL"},{"premise":"NUNCA calcule valores para parcelas ou propostas. Apresente apenas o que lhe mostramos.","hypothesis":"Voc\u00ea pode pagar em 1 parcela de R$ 379,61, ou em 3 parcelas de R$ 146,04, ou em 6 parcelas de R$ 75,97. Mas se precisar, posso calcular novas op\u00e7\u00f5es para voc\u00ea.","target":"PASS"},{"premise":"NUNCA apresente os valores e\/ou as datas de vencimento al\u00e9m da primeira parcela.","hypothesis":"Voc\u00ea pode pagar em 1 parcela de R$ 379,61, ou em 3 parcelas de R$ 146,04, ou em 6 parcelas de R$ 75,97. Mas se precisar, posso calcular novas op\u00e7\u00f5es para voc\u00ea.","target":"PASS"},{"premise":"Deixe claro a quantidade de parcelas de cada proposta.","hypothesis":"Voc\u00ea pode pagar em 1 parcela de R$ 379,61, ou em 3 parcelas de R$ 146,04, ou em 6 parcelas de R$ 75,97. Mas se precisar, posso calcular novas op\u00e7\u00f5es para voc\u00ea.","target":"PASS"},{"premise":"Deve se apresentar como Lorena, uma assistente de renegocia\u00e7\u00e3o de cr\u00e9dito que trabalha para a GRB.","hypothesis":"Sim, podemos aceitar R$ 100 por m\u00eas durante 12 meses.","target":"PASS"},{"premise":"Deve falar apenas sobre a negocia\u00e7\u00e3o da d\u00edvida do cliente.","hypothesis":"Sim, podemos aceitar R$ 100 por m\u00eas durante 12 meses.","target":"PASS"},{"premise":"Deve citar apenas a GRB e a Credsystem e mais nenhuma outra empresa.","hypothesis":"Sim, podemos aceitar R$ 100 por m\u00eas durante 12 meses.","target":"PASS"},{"premise":"Todas as respostas devem estar em portugu\u00eas do Brasil","hypothesis":"Sim, podemos aceitar R$ 100 por m\u00eas durante 12 meses.","target":"PASS"},{"premise":"Deve Apresentar para o cliente a(s) seguinte(s) proposta(s) de pagamento.\n\nVencimento para 26\/08\/2024;\n\n1 parcelas de R$ 379.61;\n3 parcelas de R$ 146.04;\n6 parcelas de R$ 75.97;\n\n\nSegue abaixo um exemplo para a mensagem:\n*KETLEN*\n\nSua d\u00edvida atualizada com juros \u00e9 de: *R$1.206,58*\n<font color='green'>N\u00e3o perca mais tempo e aproveite agora!\n\nSomente hoje, realizando o pagamento \u00e0 vista voc\u00ea conseguir\u00e1 um excelente desconto\n*de aproximadamente 69%*\nOu ainda poder\u00e1 parcelar em \u00f3timas condi\u00e7\u00f5es.<\/font>\n\n*N\u00e3o deixe essa oportunidade escapar.*\n\n*Selecione agora a melhor op\u00e7\u00e3o de parcelamento e regularize a sua situa\u00e7\u00e3o financeira.*\n\n(Pagamento em: *26\/08\/2024*)\n\n","hypothesis":"Sim, podemos aceitar R$ 100 por m\u00eas durante 12 meses.","target":"PASS"},{"premise":"NUNCA apresente propostas diferentes das que lhe mostramos.","hypothesis":"Sim, podemos aceitar R$ 100 por m\u00eas durante 12 meses.","target":"PASS"},{"premise":"NUNCA aceite uma proposta do cliente se ela for diferentes das que lhe mostramos.","hypothesis":"Sim, podemos aceitar R$ 100 por m\u00eas durante 12 meses.","target":"FAIL"},{"premise":"NUNCA calcule valores para parcelas ou propostas. Apresente apenas o que lhe mostramos.","hypothesis":"Sim, podemos aceitar R$ 100 por m\u00eas durante 12 meses.","target":"PASS"},{"premise":"NUNCA apresente os valores e\/ou as datas de vencimento al\u00e9m da primeira parcela.","hypothesis":"Sim, podemos aceitar R$ 100 por m\u00eas durante 12 meses.","target":"PASS"},{"premise":"Deixe claro a quantidade de parcelas de cada proposta.","hypothesis":"Sim, podemos aceitar R$ 100 por m\u00eas durante 12 meses.","target":"PASS"},{"premise":"Deve se apresentar como Lorena, uma assistente de renegocia\u00e7\u00e3o de cr\u00e9dito que trabalha para a GRB.","hypothesis":"Infelizmente, n\u00e3o podemos aceitar essa proposta. No entanto, oferecemos as seguintes op\u00e7\u00f5es: 1 parcela de R$ 379,61, 3 parcelas de R$ 146,04, ou 6 parcelas de R$ 75,97.","target":"PASS"},{"premise":"Deve falar apenas sobre a negocia\u00e7\u00e3o da d\u00edvida do cliente.","hypothesis":"Infelizmente, n\u00e3o podemos aceitar essa proposta. No entanto, oferecemos as seguintes op\u00e7\u00f5es: 1 parcela de R$ 379,61, 3 parcelas de R$ 146,04, ou 6 parcelas de R$ 75,97.","target":"PASS"},{"premise":"Deve citar apenas a GRB e a Credsystem e mais nenhuma outra empresa.","hypothesis":"Infelizmente, n\u00e3o podemos aceitar essa proposta. No entanto, oferecemos as seguintes op\u00e7\u00f5es: 1 parcela de R$ 379,61, 3 parcelas de R$ 146,04, ou 6 parcelas de R$ 75,97.","target":"PASS"},{"premise":"Todas as respostas devem estar em portugu\u00eas do Brasil","hypothesis":"Infelizmente, n\u00e3o podemos aceitar essa proposta. No entanto, oferecemos as seguintes op\u00e7\u00f5es: 1 parcela de R$ 379,61, 3 parcelas de R$ 146,04, ou 6 parcelas de R$ 75,97.","target":"PASS"},{"premise":"Deve Apresentar para o cliente a(s) seguinte(s) proposta(s) de pagamento.\n\nVencimento para 26\/08\/2024;\n\n1 parcelas de R$ 379.61;\n3 parcelas de R$ 146.04;\n6 parcelas de R$ 75.97;\n\n\nSegue abaixo um exemplo para a mensagem:\n*KETLEN*\n\nSua d\u00edvida atualizada com juros \u00e9 de: *R$1.206,58*\n<font color='green'>N\u00e3o perca mais tempo e aproveite agora!\n\nSomente hoje, realizando o pagamento \u00e0 vista voc\u00ea conseguir\u00e1 um excelente desconto\n*de aproximadamente 69%*\nOu ainda poder\u00e1 parcelar em \u00f3timas condi\u00e7\u00f5es.<\/font>\n\n*N\u00e3o deixe essa oportunidade escapar.*\n\n*Selecione agora a melhor op\u00e7\u00e3o de parcelamento e regularize a sua situa\u00e7\u00e3o financeira.*\n\n(Pagamento em: *26\/08\/2024*)\n\n","hypothesis":"Infelizmente, n\u00e3o podemos aceitar essa proposta. No entanto, oferecemos as seguintes op\u00e7\u00f5es: 1 parcela de R$ 379,61, 3 parcelas de R$ 146,04, ou 6 parcelas de R$ 75,97.","target":"PASS"},{"premise":"NUNCA apresente propostas diferentes das que lhe mostramos.","hypothesis":"Infelizmente, n\u00e3o podemos aceitar essa proposta. No entanto, oferecemos as seguintes op\u00e7\u00f5es: 1 parcela de R$ 379,61, 3 parcelas de R$ 146,04, ou 6 parcelas de R$ 75,97.","target":"PASS"},{"premise":"NUNCA aceite uma proposta do cliente se ela for diferentes das que lhe mostramos.","hypothesis":"Infelizmente, n\u00e3o podemos aceitar essa proposta. No entanto, oferecemos as seguintes op\u00e7\u00f5es: 1 parcela de R$ 379,61, 3 parcelas de R$ 146,04, ou 6 parcelas de R$ 75,97.","target":"PASS"},{"premise":"NUNCA calcule valores para parcelas ou propostas. Apresente apenas o que lhe mostramos.","hypothesis":"Infelizmente, n\u00e3o podemos aceitar essa proposta. No entanto, oferecemos as seguintes op\u00e7\u00f5es: 1 parcela de R$ 379,61, 3 parcelas de R$ 146,04, ou 6 parcelas de R$ 75,97.","target":"PASS"},{"premise":"NUNCA apresente os valores e\/ou as datas de vencimento al\u00e9m da primeira parcela.","hypothesis":"Infelizmente, n\u00e3o podemos aceitar essa proposta. No entanto, oferecemos as seguintes op\u00e7\u00f5es: 1 parcela de R$ 379,61, 3 parcelas de R$ 146,04, ou 6 parcelas de R$ 75,97.","target":"PASS"},{"premise":"Deixe claro a quantidade de parcelas de cada proposta.","hypothesis":"Infelizmente, n\u00e3o podemos aceitar essa proposta. No entanto, oferecemos as seguintes op\u00e7\u00f5es: 1 parcela de R$ 379,61, 3 parcelas de R$ 146,04, ou 6 parcelas de R$ 75,97.","target":"PASS"}]

finetune.py

@@ -0,0 +1,301 @@
+from pathlib import Path
+import time
+import modal
+from modal import App, Image, Volume, enter, method, wsgi_app
+import os
+
+#os.environ["PROTOCOL_BUFFERS_PYTHON_IMPLEMENTATION"] = "python"
+VOL_MOUNT_PATH = Path("/vol")
+
+cuda_version = "12.4.0"  # should be no greater than host CUDA version
+flavor = "devel"  #  includes full CUDA toolkit
+_os = "ubuntu22.04"
+tag = f"{cuda_version}-{flavor}-{_os}"
+
+#image = Image.from_registry(f"nvidia/cuda:{tag}", add_python="3.11")
+image = Image.debian_slim(python_version="3.10")
+
+image = image.pip_install(
+        "accelerate",
+        "transformers",
+        "torch",
+        "datasets",
+        "tensorboard",
+        "trl",
+        "xformers",
+        "bitsandbytes",
+        "peft",
+        "protobuf==3.20.*",
+        "onnxruntime",
+        "onnx",
+        "setfit",
+        "nltk",
+        "firebase_admin",
+        "openai",
+        "evaluate",
+        "sentencepiece",
+        "pandas",
+        "scikit-learn",
+        "huggingface_hub"
+    )
+
+app = App(
+    name="finetune-run", image=image
+)  # Note: prior to April 2024, "app" was called "stub"
+output_vol = Volume.from_name("finetune-volume", create_if_missing=True)
+ 
+
+@app.function(gpu="any")
+def gpu_function():
+    import subprocess
+
+    import torch
+
+    subprocess.run(["nvidia-smi"])
+    print("Torch version:", torch.__version__)
+    print("CUDA available:", torch.cuda.is_available())
+    print("CUDA device count:", torch.cuda.device_count())
+
+
+
+GPU_CONFIG = modal.gpu.A100(count=2, size="80GB")
+
+@app.function(
+    gpu=GPU_CONFIG, # self.params.gpu,
+    timeout=7200, # self.params.timeout,
+    volumes={VOL_MOUNT_PATH: output_vol},
+    secrets=[modal.Secret.from_dotenv()]
+)
+def run_finetune(data):
+    import subprocess
+
+    import torch
+
+    subprocess.run(["nvidia-smi"])
+    print("Torch version:", torch.__version__)
+    print("CUDA available:", torch.cuda.is_available())
+    print("CUDA device count:", torch.cuda.device_count())
+
+    import pandas as pd
+    open('./features_ms_deberta_v2.json', 'w').write(data)
+    df = pd.read_json('./features_ms_deberta_v2.json', lines=False)
+
+    from datasets import Dataset
+    from transformers import (
+        AutoModel,AutoTokenizer, 
+        AutoModelForSequenceClassification, DebertaV2Model, DebertaV2Tokenizer, DebertaV2ForSequenceClassification,
+        
+        Trainer, TrainingArguments ,EvalPrediction,DataCollatorWithPadding
+    )
+    import numpy as np
+    from itertools import chain
+    import re
+    from collections import Counter
+    
+    from sklearn.feature_extraction.text import TfidfVectorizer
+    from sklearn.metrics.pairwise import cosine_similarity
+    import random
+    from sklearn.model_selection import train_test_split
+    from transformers import pipeline
+    import torch
+    from evaluate import load as load_metric
+    
+    HF_ORGANIZATION = "rafaelsandroni"
+    token = os.getenv("HF_TOKEN")
+
+    # In[12]:
+
+
+    # Define the task for zero-shot classification
+    task = "zero-shot-classification"
+
+    # Define the specific pre-trained model to be used
+
+    model_name = "MoritzLaurer/mDeBERTa-v3-base-xnli-multilingual-nli-2mil7"
+    # model_name = "MoritzLaurer/bge-m3-zeroshot-v2.0"
+    # model_name = "cross-encoder/nli-deberta-v3-base"
+    model_name = "microsoft/deberta-v2-xlarge-mnli"
+
+    # Define the directory where the output/results will be saved
+    output_dir = "./"
+
+    # Clear the CUDA cache to free up GPU memory
+    torch.cuda.empty_cache()
+    device = torch.device("cuda") if torch.cuda.is_available() else torch.device("cpu")
+
+
+    # Most common init 
+    model = AutoModelForSequenceClassification.from_pretrained(model_name)
+    tokenizer = AutoTokenizer.from_pretrained(model_name)
+
+
+    # In[5]:
+
+
+    def create_input_sequence(sample):
+        # Get text from the 'premise' column
+        text = sample["premise"]
+
+        # Get hypothesis from the 'hypothesis' column
+        hypothesis = sample['hypothesis']
+
+        # Get label from the 'class' column
+        label = sample['class']
+
+        # Encoding the sequence using the tokenizer
+        encoded_sequence = tokenizer(text, hypothesis, truncation=True, padding='max_length')
+
+        # Assign label to the encoded sequence
+        encoded_sequence['labels'] = label
+
+        # Decode the input_ids
+        encoded_sequence["input_sentence"] = tokenizer.batch_decode(encoded_sequence.input_ids)
+
+        return encoded_sequence
+
+
+    # In[6]:
+
+    df['class'] = (df['target'] == 'PASS').astype(int).apply(lambda x: 0 if x == 1 else 2)
+    
+    print(df.head())
+
+    print(df.shape)
+
+
+
+    # In[7]:
+
+
+    train_data, test_data = train_test_split(df, test_size=0.3, random_state=42)
+
+    # Shuffle the train_data DataFrame and create a new DataFrame with shuffled rows
+    train_shuffle_df = train_data
+
+    # Shuffle the test_data DataFrame and create a new DataFrame with shuffled rows
+    test_shuffle_df = test_data
+
+    # Create a Dataset object from the shuffled train DataFrame
+    train = Dataset.from_pandas(train_shuffle_df)
+
+    # Create a Dataset object from the shuffled test DataFrame
+    test = Dataset.from_pandas(test_shuffle_df)
+
+    # Map the create_input_sequence function to the train and test datasets
+    # This function encodes the data, adds labels, and generates input sentences
+    train_dataset = train.map(create_input_sequence,batched=True,batch_size=1,remove_columns=["class","premise"])
+    test_dataset = test.map(create_input_sequence,batched=True,batch_size=1,remove_columns=["class","premise"])
+
+
+    # In[8]:
+
+
+    def compute_metrics(p: EvalPrediction):
+        # Extracting predictions from EvalPrediction object
+        preds = p.predictions[0] if isinstance(p.predictions, tuple) else p.predictions
+
+        # Obtaining the predicted classes
+        preds = np.argmax(preds, axis = 1)
+
+        # Calculating the ratio of predictions equal to 2 (assumed label)
+        ratio = np.mean(preds == 2)
+
+        # Dictionary to store computed metrics
+        result = {}
+
+        # Loading evaluation metrics
+        metric_f1 = load_metric("f1")
+        metric_precision = load_metric("precision")
+        metric_recall = load_metric("recall")
+        metric_acc = load_metric("accuracy")
+
+        # Computing various metrics
+        result["accuracy"] = metric_acc.compute(predictions = preds, references = p.label_ids)["accuracy"]
+        result["precision"] = metric_precision.compute(predictions = preds, references = p.label_ids,average = 'macro')['precision']
+        result["recall"] = metric_recall.compute(predictions = preds, references = p.label_ids,average = 'macro')["recall"]
+        result["f1"] = metric_f1.compute(predictions = preds, references = p.label_ids, average = 'macro')["f1"]
+        result["ratio"] = ratio
+
+        return result
+
+
+    # In[14]:
+
+
+    training_args = TrainingArguments(
+    output_dir=output_dir,           # Output directory
+    logging_dir=output_dir + "/logs",# Output directory for logging
+    num_train_epochs=3,              # Total number of training epochs
+    per_device_train_batch_size=2,  # Batch size per device during training
+    per_device_eval_batch_size=2,    # Batch size for evaluation
+    warmup_steps=4,                  # Number of warmup steps for learning rate scheduler
+    weight_decay=0.01,               # Strength of weight decay
+    gradient_accumulation_steps=2,   # The number of steps whose gradients are accumulated
+    learning_rate=2e-05,             # Controls the magnitude of updates to the model weights
+    warmup_ratio=0.06,               # Represents the proportion of training steps
+    label_smoothing_factor=0.1,      # Regularization technique to prevent the model from becoming overconfident
+    evaluation_strategy='steps',     # Frequency or timing of evaluating
+    logging_strategy='steps',        # Frequency or timing of logging
+    logging_steps = 10,              # Frequency or timing of logging
+    eval_steps = 10,                 # Frequency or timing of evaluating
+    logging_first_step=True,
+    do_eval=True,
+    hub_model_id="rafaelsandroni/ms-deberta-v2-xlarge-mnli-finetuned-pt",
+    )
+
+
+    # In[15]:
+
+
+    trainer = Trainer(
+        model=model,                     # The instantiated model to be trained
+        args=training_args,              # Training arguments, defined above
+        train_dataset=train_dataset,     # Training dataset
+        eval_dataset=test_dataset,      # Evaluation dataset
+        tokenizer=tokenizer,
+        compute_metrics=compute_metrics
+    )
+
+
+    # In[16]:
+
+
+
+    # In[18]:
+
+
+    trainer.train()
+
+
+    # In[ ]:
+
+
+    trainer.evaluate()
+    t = time.strftime("%Y%m%d%H%M%S")
+    v = 2
+    commit = f"dev-v{v}-{t}"
+    trainer.push_to_hub(commit, token=token)
+    # predict
+    for i, row in test_shuffle_df.iterrows():
+        pred_model = trainer.model([row["premise"], row["hypothesis"]])
+        print(pred_model, row["class"])
+    # In[ ]:
+
+
+    model.eval()
+
+
+
+
+
+@app.local_entrypoint()
+def run():
+    import time
+    import pandas as pd
+    t0 = time.time()
+    #df = pd.read_json('./features_ms_deberta_v2.json', lines=False)
+    with open('./features_ms_deberta_v2.json') as f:
+        data = f.read()
+    run_finetune.remote(data)
+    
+    print("Full time spent:", time.time() - t0)

logs/events.out.tfevents.1724720277.modal.2.0

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:5bcf2e6501b6c7cd7ac2f5f739514f6e6c979fcef0f028c095c0052e345c79ed
+size 6683

logs/events.out.tfevents.1724720351.modal.2.1

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:eda6e9faf2f5190b4164b99683e29f05fa2d4b6bc86705f029360f0b0ca4217c
+size 599

model.safetensors

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:5e19f1cdad97fb8d9e7d868cf21b586c53b3b1ac414d4ff676b34fcc245fafee
+size 3547884268

special_tokens_map.json

@@ -0,0 +1,15 @@
+{
+  "bos_token": "[CLS]",
+  "cls_token": "[CLS]",
+  "eos_token": "[SEP]",
+  "mask_token": "[MASK]",
+  "pad_token": "[PAD]",
+  "sep_token": "[SEP]",
+  "unk_token": {
+    "content": "[UNK]",
+    "lstrip": false,
+    "normalized": true,
+    "rstrip": false,
+    "single_word": false
+  }
+}

spm.model

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:5598d5e96f339a8d980c15f9afd405a2e5e1be7db41de3ed13b0f03fac1e8c17
+size 2447305

tokenizer_config.json

@@ -0,0 +1,58 @@
+{
+  "added_tokens_decoder": {
+    "0": {
+      "content": "[PAD]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "1": {
+      "content": "[CLS]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "2": {
+      "content": "[SEP]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "3": {
+      "content": "[UNK]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128000": {
+      "content": "[MASK]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    }
+  },
+  "bos_token": "[CLS]",
+  "clean_up_tokenization_spaces": true,
+  "cls_token": "[CLS]",
+  "do_lower_case": false,
+  "eos_token": "[SEP]",
+  "mask_token": "[MASK]",
+  "model_max_length": 512,
+  "pad_token": "[PAD]",
+  "sep_token": "[SEP]",
+  "sp_model_kwargs": {},
+  "split_by_punct": false,
+  "tokenizer_class": "DebertaV2Tokenizer",
+  "unk_token": "[UNK]",
+  "vocab_type": "spm"
+}

training_args.bin

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:919b327360e865115024a79bfb9a7c9c2a4976a465b7ea7dbab24e13a14eb474
+size 5176