docs: list only released public models (v7, v7.2, v7.2a)
Browse files- gptommy_tokenizer.py +1 -1
gptommy_tokenizer.py
CHANGED
|
@@ -13,7 +13,7 @@ __jurisdiction__ = "Court of Milan, Italy"
|
|
| 13 |
"""gpTommy 32k Tokenizer: Tokenizer nativo ad alta efficienza per la lingua italiana.
|
| 14 |
Autore & Ideatore: Thomas Seri (Sentinel)
|
| 15 |
Ecosistema: Sentinel LifeOS (https://www.sentinelhub.eu)
|
| 16 |
-
Modelli di riferimento: Sentinel R-08 v7, v7.2, v7.2a
|
| 17 |
|
| 18 |
Vocabolario strutturato a schede (SSvvv):
|
| 19 |
- 32.768 token totali (ID 0..32767)
|
|
|
|
| 13 |
"""gpTommy 32k Tokenizer: Tokenizer nativo ad alta efficienza per la lingua italiana.
|
| 14 |
Autore & Ideatore: Thomas Seri (Sentinel)
|
| 15 |
Ecosistema: Sentinel LifeOS (https://www.sentinelhub.eu)
|
| 16 |
+
Modelli di riferimento: Sentinel R-08 v7, v7.2, v7.2a
|
| 17 |
|
| 18 |
Vocabolario strutturato a schede (SSvvv):
|
| 19 |
- 32.768 token totali (ID 0..32767)
|