lrds-code commited on
Commit
e9d4188
·
verified ·
1 Parent(s): 368eda3

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +10 -0
README.md CHANGED
@@ -62,6 +62,11 @@ Em apoio aos países de língua portuguesa.
62
 
63
  Usamos o mesmo prompt usado no fine-tune do modelo [Cabrita](https://huggingface.co/22h/cabrita-lora-v0-1). Você pode saber mais no repositório oficial no [GitHub](https://github.com/22-hours/cabrita/blob/main/notebooks/train_lora.ipynb).
64
 
 
 
 
 
 
65
  ## Como Usar
66
 
67
  ```python
@@ -146,6 +151,11 @@ In support of portuguese-speaking countries.
146
 
147
  We used the same prompt used in the fine-tune of the [Cabrita](https://huggingface.co/22h/cabrita-lora-v0-1) model. You can find out more in the official repository on [GitHub](https://github.com/22-hours/cabrita/blob/main/notebooks/train_lora.ipynb).
148
 
 
 
 
 
 
149
  ## How to Use
150
 
151
  ```python
 
62
 
63
  Usamos o mesmo prompt usado no fine-tune do modelo [Cabrita](https://huggingface.co/22h/cabrita-lora-v0-1). Você pode saber mais no repositório oficial no [GitHub](https://github.com/22-hours/cabrita/blob/main/notebooks/train_lora.ipynb).
64
 
65
+ ## Avaliação
66
+
67
+ O modelo foi avaliado no conjunto de dados [XWinograd - pt](https://huggingface.co/datasets/Muennighoff/xwinograd) que consiste em uma simples task de fill-mask. Alcançamos resultados que variaram entre 40.03 e 50.19 de acurácia, dependendo da configuração de prompt utilizada.
68
+ Não foi aplicado nenhum tipo de correção na saída do modelo, apenas realizamos uma etapa de pós processamento para extração do valor de interesse.
69
+
70
  ## Como Usar
71
 
72
  ```python
 
151
 
152
  We used the same prompt used in the fine-tune of the [Cabrita](https://huggingface.co/22h/cabrita-lora-v0-1) model. You can find out more in the official repository on [GitHub](https://github.com/22-hours/cabrita/blob/main/notebooks/train_lora.ipynb).
153
 
154
+ ## Evaluation
155
+
156
+ The model was evaluated on the dataset [XWinograd - pt](https://huggingface.co/datasets/Muennighoff/xwinograd) which consists of a simple fill-mask task. We achieved results that varied between 40.03 and 50.19 accuracy, depending on the prompt configuration used.
157
+ No type of correction was applied to the model output, we only carried out a post-processing step to extract the value of interest.
158
+
159
  ## How to Use
160
 
161
  ```python