Update README.md
Browse files
README.md
CHANGED
@@ -62,6 +62,11 @@ Em apoio aos países de língua portuguesa.
|
|
62 |
|
63 |
Usamos o mesmo prompt usado no fine-tune do modelo [Cabrita](https://huggingface.co/22h/cabrita-lora-v0-1). Você pode saber mais no repositório oficial no [GitHub](https://github.com/22-hours/cabrita/blob/main/notebooks/train_lora.ipynb).
|
64 |
|
|
|
|
|
|
|
|
|
|
|
65 |
## Como Usar
|
66 |
|
67 |
```python
|
@@ -146,6 +151,11 @@ In support of portuguese-speaking countries.
|
|
146 |
|
147 |
We used the same prompt used in the fine-tune of the [Cabrita](https://huggingface.co/22h/cabrita-lora-v0-1) model. You can find out more in the official repository on [GitHub](https://github.com/22-hours/cabrita/blob/main/notebooks/train_lora.ipynb).
|
148 |
|
|
|
|
|
|
|
|
|
|
|
149 |
## How to Use
|
150 |
|
151 |
```python
|
|
|
62 |
|
63 |
Usamos o mesmo prompt usado no fine-tune do modelo [Cabrita](https://huggingface.co/22h/cabrita-lora-v0-1). Você pode saber mais no repositório oficial no [GitHub](https://github.com/22-hours/cabrita/blob/main/notebooks/train_lora.ipynb).
|
64 |
|
65 |
+
## Avaliação
|
66 |
+
|
67 |
+
O modelo foi avaliado no conjunto de dados [XWinograd - pt](https://huggingface.co/datasets/Muennighoff/xwinograd) que consiste em uma simples task de fill-mask. Alcançamos resultados que variaram entre 40.03 e 50.19 de acurácia, dependendo da configuração de prompt utilizada.
|
68 |
+
Não foi aplicado nenhum tipo de correção na saída do modelo, apenas realizamos uma etapa de pós processamento para extração do valor de interesse.
|
69 |
+
|
70 |
## Como Usar
|
71 |
|
72 |
```python
|
|
|
151 |
|
152 |
We used the same prompt used in the fine-tune of the [Cabrita](https://huggingface.co/22h/cabrita-lora-v0-1) model. You can find out more in the official repository on [GitHub](https://github.com/22-hours/cabrita/blob/main/notebooks/train_lora.ipynb).
|
153 |
|
154 |
+
## Evaluation
|
155 |
+
|
156 |
+
The model was evaluated on the dataset [XWinograd - pt](https://huggingface.co/datasets/Muennighoff/xwinograd) which consists of a simple fill-mask task. We achieved results that varied between 40.03 and 50.19 accuracy, depending on the prompt configuration used.
|
157 |
+
No type of correction was applied to the model output, we only carried out a post-processing step to extract the value of interest.
|
158 |
+
|
159 |
## How to Use
|
160 |
|
161 |
```python
|