SableAI-Dev commited on
Commit
bb35abc
·
verified ·
1 Parent(s): b99c4c5

Kit-89M: full fp32 weights

Browse files
Files changed (3) hide show
  1. README.md +1 -1
  2. config.json +1 -1
  3. model.safetensors +2 -2
README.md CHANGED
@@ -43,7 +43,7 @@ Kit — это семейство, а не одна модель: в него в
43
  | контекст | 512 токенов |
44
  | словарь | 16 000, byte-level BPE, обучен на том же корпусе |
45
  | архитектура | decoder-only трансформер, LayerNorm, GELU, обучаемые позиции |
46
- | формат весов | `model.safetensors`, fp16, около 180 МБ |
47
 
48
  ## Запуск
49
 
 
43
  | контекст | 512 токенов |
44
  | словарь | 16 000, byte-level BPE, обучен на том же корпусе |
45
  | архитектура | decoder-only трансформер, LayerNorm, GELU, обучаемые позиции |
46
+ | формат весов | `model.safetensors`, fp32 (полная точность, без сжатия), около 357 МБ |
47
 
48
  ## Запуск
49
 
config.json CHANGED
@@ -12,5 +12,5 @@
12
  "norm": "layernorm",
13
  "tie_word_embeddings": true,
14
  "num_parameters": 89345280,
15
- "torch_dtype": "float16"
16
  }
 
12
  "norm": "layernorm",
13
  "tie_word_embeddings": true,
14
  "num_parameters": 89345280,
15
+ "torch_dtype": "float32"
16
  }
model.safetensors CHANGED
@@ -1,3 +1,3 @@
1
  version https://git-lfs.github.com/spec/v1
2
- oid sha256:1a1083bfc9f75b8c0b7073d26faa889352414eb9fe5b34e6f56f00921cfcfb80
3
- size 178707960
 
1
  version https://git-lfs.github.com/spec/v1
2
+ oid sha256:3200dff6b09623bee3aaf85803a34d505130be69bd97d454856cdbedc83f16ea
3
+ size 357398664