Upload folder using huggingface_hub
Browse files- README.md +9 -9
- model.safetensors +1 -1
- tokenizer.json +0 -0
README.md
CHANGED
|
@@ -70,27 +70,27 @@ python generate.py model.safetensors "Москва — это" --tokens 150
|
|
| 70 |
| батч | 64 последовательности по 512 токенов (8 × накопление 8), 32 768 токенов на шаг |
|
| 71 |
| точность | fp16 с автоматическим масштабированием потерь, обрезка градиента 1.0 |
|
| 72 |
| скорость | около 23 500 токенов в секунду |
|
| 73 |
-
| этапы | 14 000 шагов с батчем 8
|
| 74 |
|
| 75 |
Чтобы не упираться в видеокарту, весь корпус держится в оперативной памяти, а батчи готовятся на процессоре в фоновых потоках, пока видеокарта считает.
|
| 76 |
|
| 77 |
## Качество
|
| 78 |
|
| 79 |
-
Val loss на отложенном 1% корпуса
|
| 80 |
|
| 81 |
-
| шаг | 250 |
|
| 82 |
-
|---|---|---|---|---|
|
| 83 |
-
| val loss | 3.
|
| 84 |
|
| 85 |
-
|
| 86 |
|
| 87 |
Примеры продолжения текста (температура 0.8, top-k 40):
|
| 88 |
|
| 89 |
-
> **Москва — это**
|
| 90 |
|
| 91 |
-
> **Для того чтобы** п
|
| 92 |
|
| 93 |
-
Текст грамматически похож на русский и стил
|
| 94 |
|
| 95 |
## Ограничения
|
| 96 |
|
|
|
|
| 70 |
| батч | 64 последовательности по 512 токенов (8 × накопление 8), 32 768 токенов на шаг |
|
| 71 |
| точность | fp16 с автоматическим масштабированием потерь, обрезка градиента 1.0 |
|
| 72 |
| скорость | около 23 500 токенов в секунду |
|
| 73 |
+
| этапы | 14 000 шагов с батчем 8 (57M токенов); 1 200 шагов с батчем 64 (39M токенов); ещё 5 000 шагов с батчем 64 (164M токенов, около 2 часов). Всего примерно 260M токенов, около двух проходов по корпусу |
|
| 74 |
|
| 75 |
Чтобы не упираться в видеокарту, весь корпус держится в оперативной памяти, а батчи готовятся на процессоре в фоновых потоках, пока видеокарта считает.
|
| 76 |
|
| 77 |
## Качество
|
| 78 |
|
| 79 |
+
Val loss на отложенном 1% корпуса на последнем этапе обучения (5 000 шагов):
|
| 80 |
|
| 81 |
+
| шаг | 250 | 1000 | 2000 | 3000 | 4000 | 5000 |
|
| 82 |
+
|---|---|---|---|---|---|---|
|
| 83 |
+
| val loss | 3.812 | 3.698 | 3.629 | 3.556 | 3.494 | 3.483 |
|
| 84 |
|
| 85 |
+
Итоговый val loss 3.48 (перплексия около 33 на токенах словаря 16k). Оценка идёт по 40 батчам, поэтому небольшие колебания между точками (например, 3.478 на шаге 4750) — шум, а не тренд. Другие бенчмарки не запускались.
|
| 86 |
|
| 87 |
Примеры продолжения текста (температура 0.8, top-k 40):
|
| 88 |
|
| 89 |
+
> **Москва — это** не «прибытие» и в самом деле не что иное, как смерть. Для нас это не идеальная задача, — в ней много нечистоплюдая и безразличная, где «высокая» и безотносимая, даже «абсолютная»
|
| 90 |
|
| 91 |
+
> **Для того чтобы** приступить к работе, приступить к работе, а после этого вы сможете научиться учить свою деятельность.
|
| 92 |
|
| 93 |
+
Текст грамматически похож на русский и по стилю на веб-страницы, но по смыслу бессвязен: повторы, выдуманные слова и ошибки в согласовании встречаются постоянно.
|
| 94 |
|
| 95 |
## Ограничения
|
| 96 |
|
model.safetensors
CHANGED
|
@@ -1,3 +1,3 @@
|
|
| 1 |
version https://git-lfs.github.com/spec/v1
|
| 2 |
-
oid sha256:
|
| 3 |
size 178707960
|
|
|
|
| 1 |
version https://git-lfs.github.com/spec/v1
|
| 2 |
+
oid sha256:1a1083bfc9f75b8c0b7073d26faa889352414eb9fe5b34e6f56f00921cfcfb80
|
| 3 |
size 178707960
|
tokenizer.json
CHANGED
|
The diff for this file is too large to render.
See raw diff
|
|
|