SableAI-Dev commited on
Commit
b99c4c5
·
verified ·
1 Parent(s): 8c967ea

Upload folder using huggingface_hub

Browse files
Files changed (3) hide show
  1. README.md +9 -9
  2. model.safetensors +1 -1
  3. tokenizer.json +0 -0
README.md CHANGED
@@ -70,27 +70,27 @@ python generate.py model.safetensors "Москва — это" --tokens 150
70
  | батч | 64 последовательности по 512 токенов (8 × накопление 8), 32 768 токенов на шаг |
71
  | точность | fp16 с автоматическим масштабированием потерь, обрезка градиента 1.0 |
72
  | скорость | около 23 500 токенов в секунду |
73
- | этапы | 14 000 шагов с батчем 8, затем 1 200 шагов (около 28 минут, примерно 39M токенов) с батчем 64 |
74
 
75
  Чтобы не упираться в видеокарту, весь корпус держится в оперативной памяти, а батчи готовятся на процессоре в фоновых потоках, пока видеокарта считает.
76
 
77
  ## Качество
78
 
79
- Val loss на отложенном 1% корпуса во время второго этапа:
80
 
81
- | шаг | 250 | 500 | 750 | 1000 |
82
- |---|---|---|---|---|
83
- | val loss | 3.956 | 3.870 | 3.882 | 3.779 |
84
 
85
- Значение шума в этих измерениях заметно (оценка по 40 батчам), поэтому небольшие колебания между точками не стоит считать трендом. Другие бенчмарки не запускались.
86
 
87
  Примеры продолжения текста (температура 0.8, top-k 40):
88
 
89
- > **Москва — это** Операция. Я думаю, что российская экономика, который стал для России, будет развиваться и на дорогах. И в целом, это будет очень непростая ситуация.
90
 
91
- > **Для того чтобы** получить необходимые сведения, заполните их и нажмите Ctrl+Enter, чтобы сообщить нам, что для этого необходимо зарегистрироваться.
92
 
93
- Текст грамматически похож на русский и стилистически на веб-страницы, но по смыслу бессвязен: ошибки в согласовании и фактах встречаются постоянно.
94
 
95
  ## Ограничения
96
 
 
70
  | батч | 64 последовательности по 512 токенов (8 × накопление 8), 32 768 токенов на шаг |
71
  | точность | fp16 с автоматическим масштабированием потерь, обрезка градиента 1.0 |
72
  | скорость | около 23 500 токенов в секунду |
73
+ | этапы | 14 000 шагов с батчем 8 (57M токенов); 1 200 шагов с батчем 64 (39M токенов); ещё 5 000 шагов с батчем 64 (164M токенов, около 2 часов). Всего примерно 260M токенов, около двух проходов по корпусу |
74
 
75
  Чтобы не упираться в видеокарту, весь корпус держится в оперативной памяти, а батчи готовятся на процессоре в фоновых потоках, пока видеокарта считает.
76
 
77
  ## Качество
78
 
79
+ Val loss на отложенном 1% корпуса на последнем этапе обучения (5 000 шагов):
80
 
81
+ | шаг | 250 | 1000 | 2000 | 3000 | 4000 | 5000 |
82
+ |---|---|---|---|---|---|---|
83
+ | val loss | 3.812 | 3.698 | 3.629 | 3.556 | 3.494 | 3.483 |
84
 
85
+ Итоговый val loss 3.48 (перплексия около 33 на токенах словаря 16k). Оценка идёт по 40 батчам, поэтому небольшие колебания между точками (например, 3.478 на шаге 4750) — шум, а не тренд. Другие бенчмарки не запускались.
86
 
87
  Примеры продолжения текста (температура 0.8, top-k 40):
88
 
89
+ > **Москва — это** не «прибытие» и в самом деле не что иное, как смерть. Для нас это не идеальная задача, — в ней много нечистоплюдая и безразличная, где «высокая» и безотносимая, даже «абсолютная»
90
 
91
+ > **Для того чтобы** приступить к работе, приступить к работе, а после этого вы сможете научиться учить свою деятельность.
92
 
93
+ Текст грамматически похож на русский и по стилю на веб-страницы, но по смыслу бессвязен: повторы, выдуманные слова и ошибки в согласовании встречаются постоянно.
94
 
95
  ## Ограничения
96
 
model.safetensors CHANGED
@@ -1,3 +1,3 @@
1
  version https://git-lfs.github.com/spec/v1
2
- oid sha256:d642e0e4a0a6e3169411b03b6ce1bd7db3e777fcf012854f07bff7c6d46f81be
3
  size 178707960
 
1
  version https://git-lfs.github.com/spec/v1
2
+ oid sha256:1a1083bfc9f75b8c0b7073d26faa889352414eb9fe5b34e6f56f00921cfcfb80
3
  size 178707960
tokenizer.json CHANGED
The diff for this file is too large to render. See raw diff