Update app.py
Browse files
app.py
CHANGED
|
@@ -43,6 +43,17 @@ global_data = {
|
|
| 43 |
'mask': 'mask_token'
|
| 44 |
},
|
| 45 |
'model_metadata': {},
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 46 |
'max_tokens': {},
|
| 47 |
'tokenizers': {},
|
| 48 |
'model_params': {},
|
|
|
|
| 43 |
'mask': 'mask_token'
|
| 44 |
},
|
| 45 |
'model_metadata': {},
|
| 46 |
+
'eos': {},
|
| 47 |
+
'pad': {},
|
| 48 |
+
'padding': {},
|
| 49 |
+
'unk': {},
|
| 50 |
+
'bos': {},
|
| 51 |
+
'sep': {},
|
| 52 |
+
'cls': {},
|
| 53 |
+
'mask': {},
|
| 54 |
+
'eot': {},
|
| 55 |
+
'eom': {},
|
| 56 |
+
'lf': {},
|
| 57 |
'max_tokens': {},
|
| 58 |
'tokenizers': {},
|
| 59 |
'model_params': {},
|