Update app.py
Browse files
app.py
CHANGED
|
@@ -26,6 +26,19 @@ cache = cachetools.TTLCache(maxsize=100, ttl=60)
|
|
| 26 |
|
| 27 |
global_data = {
|
| 28 |
'models': {},
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 29 |
'tokens': {
|
| 30 |
'eos': 'eos_token',
|
| 31 |
'pad': 'pad_token',
|
|
@@ -37,6 +50,17 @@ global_data = {
|
|
| 37 |
'mask': 'mask_token'
|
| 38 |
},
|
| 39 |
'model_metadata': {},
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 40 |
'max_tokens': {},
|
| 41 |
'tokenizers': {},
|
| 42 |
'model_params': {},
|
|
|
|
| 26 |
|
| 27 |
global_data = {
|
| 28 |
'models': {},
|
| 29 |
+
'tokensxx': {
|
| 30 |
+
'eos': '<|end_of-text|>',
|
| 31 |
+
'pad': '<pad>',
|
| 32 |
+
'padding': '<pad>',
|
| 33 |
+
'unk': '<unk>',
|
| 34 |
+
'bos': '<|begin_of_text|>',
|
| 35 |
+
'sep': '<|sep|>',
|
| 36 |
+
'cls': '<|cls|>',
|
| 37 |
+
'mask': '<mask>',
|
| 38 |
+
'eot': '<|eot_id|>',
|
| 39 |
+
'eom': '<|eom_id|>',
|
| 40 |
+
'lf': '<|0x0A|>'
|
| 41 |
+
},
|
| 42 |
'tokens': {
|
| 43 |
'eos': 'eos_token',
|
| 44 |
'pad': 'pad_token',
|
|
|
|
| 50 |
'mask': 'mask_token'
|
| 51 |
},
|
| 52 |
'model_metadata': {},
|
| 53 |
+
'eos': {},
|
| 54 |
+
'pad': {},
|
| 55 |
+
'padding': {},
|
| 56 |
+
'unk': {},
|
| 57 |
+
'bos': {},
|
| 58 |
+
'sep': {},
|
| 59 |
+
'cls': {},
|
| 60 |
+
'mask': {},
|
| 61 |
+
'eot': {},
|
| 62 |
+
'eom': {},
|
| 63 |
+
'lf': {},
|
| 64 |
'max_tokens': {},
|
| 65 |
'tokenizers': {},
|
| 66 |
'model_params': {},
|