recoilme commited on
Commit
febb4ff
·
verified ·
1 Parent(s): e17aaaf

Ra fp16 (step 560142)

Browse files
Files changed (2) hide show
  1. docs/ARCH.md +2 -2
  2. docs/README.ru.md +1 -1
docs/ARCH.md CHANGED
@@ -26,8 +26,8 @@
26
  - **zero-init**: выход conv-блоков и FFN обнулён, поэтому новые ветки не ломают старт.
27
 
28
  Размеры: тело **143.3M**. Шаг обучения 97 мс при bs8 на 256² (8.1 ГБ). Для сравнения, прежний
29
- плоский стек ширины 1024 на всех уровнях: 196 мс и hf 0.18 против 0.54 у пирамиды (архитектура
30
- удалена в `tmp/archive`).
31
 
32
  ## 2. Текст
33
 
 
26
  - **zero-init**: выход conv-блоков и FFN обнулён, поэтому новые ветки не ломают старт.
27
 
28
  Размеры: тело **143.3M**. Шаг обучения 97 мс при bs8 на 256² (8.1 ГБ). Для сравнения, прежний
29
+ плоский стек ширины 1024 на всех уровнях: 196 мс и hf 0.18 против 0.54 у пирамиды (код и чекпойнт
30
+ той архитектуры удалены как промежуточный артефакт).
31
 
32
  ## 2. Текст
33
 
docs/README.ru.md CHANGED
@@ -46,7 +46,7 @@ src/export.py экспорт в transformer/ (safetensors + config.
46
  vae/ AE f8c32-ae: энкодер 68.4M + декодер 23.9M, f8, 32 канала
47
  text_encoder/ Ettin-150M (768, 22 слоя, MIT)
48
  transformer/ текущие веса модели + config.json
49
- tmp/ прогоны (samples, log.csv, last.pt); tmp/archive — старое
50
  docs/ARCH.md, docs/STATUS.md
51
  ```
52
 
 
46
  vae/ AE f8c32-ae: энкодер 68.4M + декодер 23.9M, f8, 32 канала
47
  text_encoder/ Ettin-150M (768, 22 слоя, MIT)
48
  transformer/ текущие веса модели + config.json
49
+ tmp/ временная папка прогонов (samples, log.csv, last.pt), создаётся заново
50
  docs/ARCH.md, docs/STATUS.md
51
  ```
52