WarpStateAI / README_UK.md
zerdovzad's picture
Upload 139 files
c8ba9c6 verified
|
Raw History Blame Contribute Delete
13.6 kB
# WarpState 2B: один запуск на RTX PRO 6000 Blackwell 96 ГБ
Архів містить код вашої WarpState, точний наявний токенізатор і єдиний
керівний скрипт `run_40b.py`. Ваг моделі та 80 ГБ даних в архіві немає.
Ваги беруться з вашого сервера, дані готуються на сервері автоматично.
## Запуск
Потрібні Linux x86_64, **Python 3.12–3.14 з модулем venv**, робочий NVIDIA
драйвер, сумісний із CUDA 13.0, одна RTX PRO 6000 Blackwell 96 ГБ,
інтернет і рекомендовано **250 ГБ вільного SSD/NVMe**. Бажано 128 ГБ RAM;
фактичні потреби залежать від завантаження checkpoint і підготовки даних.
Скрипт не встановлює системний драйвер і не змінює інші Python-середовища.
Розпакуйте ZIP, перейдіть у його папку та підставте справжній шлях до ваг:
```bash
cd rtx6000_40b
python3.12 run_40b.py --weights /srv/models/latest.pt --work-dir /srv/warpstate40b
```
Ця **одна команда**:
1. Створює `.server-venv` та встановлює CUDA PyTorch і залежності.
2. Перевіряє GPU, формат/архітектуру ваг, розмір словника й доступне місце.
3. Потоково читає FineWeb-Edu та готує **рівно 40 000 000 000 train-токенів**
вашим токенізатором плюс 1 048 576 validation-токенів.
4. Запускає повне навчання всіх параметрів із GPU AdamW та BF16-обчисленнями.
5. Пише метрики, validation і checkpoint з можливістю відновлення.
Для запуску з від’єднанням від SSH використовуйте вже встановлений tmux
або стандартний nohup. Наприклад:
```bash
nohup python3.12 -u run_40b.py --weights /srv/models/latest.pt --work-dir /srv/warpstate40b > server.log 2>&1 &
echo $! > server.pid
tail -f server.log
```
Завершення через Ctrl+C у передньому плані або `kill -TERM <PID>` для процесу
скрипта зберігає прогрес. Дочекайтеся `Saved ...latest.pt` та виходу процесу.
У підготовці корпусу зберігається позиція читання й записані токени.
Не використовуйте `kill -9`, коли потрібні останні незбережені оновлення.
Повторна **та сама команда** відновлює запуск. Одночасний запуск у тому
самому `--work-dir` захищено блокуванням.
## Які ваги підходять
Це код **вашої WarpState 2B**, а не універсальний тренер для Llama/Qwen.
Очікується ваш PyTorch `latest.pt` з полями `model` і `config`.
Для старого CPU-offload checkpoint використовуються точні FP32 master-ваги,
якщо вони є. Токенізатор в архіві — той самий `tokenizer.model`, що у проєкті.
Не замінюйте його на інший зі схожим розміром словника: перевірка розміру
не доводить однакової відповідності ID словам.
Перше завантаження через `--weights` — **початок нового 40B-запуску з ваших
ваг**: старий 300M-розклад і старі моменти AdamW не переносяться.
Записується походження ваг і попередній лічильник токенів.
У наступних перезапусках `work/run/latest.pt` відновлюються ваги,
AdamW, RNG, позиція корпусу, лічильник та розклад нового запуску.
Оригінальний файл `--weights` не перезаписується.
## Дані та очікування якості
Джерело: [HuggingFaceFW/fineweb-edu, sample-100BT](https://huggingface.co/datasets/HuggingFaceFW/fineweb-edu).
Це відфільтрований **англомовний** корпус для попереднього навчання.
Число токенів у його назві пораховане іншим токенізатором; скрипт сам
відміряє 40 млрд саме вашим SentencePiece. Ці 40 млрд — додаткові токени
нового запуску, незалежно від кількості токенів у початкових вагах.
У кожен документ додається EOS. Незмінний SHA256 тексту визначає train
або holdout; усі holdout-документи виключаються з train навіть після
заповнення validation. Повтор того самого тексту потрапляє в той самий
розділ; це не додаткова глобальна дедуплікація майже однакових документів.
Ревізія джерела фіксується як commit SHA. Підготовка відновлюється через
стан HF IterableDataset; незавершений хвіст вихідного файла відкочується
до останньої узгодженої точки. Якщо джерело закінчиться раніше, скрипт
зупиниться, а не доповнюватиме корпус нескінченними повтореннями.
Два uint16-файли займають приблизно **80,0 ГБ / 74,5 GiB**. Обсяг мережевого
трафіку більший; вихідні тексти не завантажуються до ZIP. Підготовка може
зайняти години або дні. Це не вже готовий 40B-корпус у маленькому архіві.
Наприкінці обчислюються SHA256 файлів. Повна повторна перевірка даних:
```bash
python3.12 run_40b.py --stage train --work-dir /srv/warpstate40b --weights /srv/models/latest.pt --verify-data
```
40 млрд токенів — суттєвий бюджет для експерименту з 2B, але кількість токенів
не гарантує якість. Тут експериментальна архітектура; оцінюйте validation,
мовні/фактологічні тести й реальні відповіді. Англомовний pretraining сам
по собі не робить модель якісним українським чат-асистентом. Для цього
потрібні відповідні українські дані, instruction tuning та окрема оцінка;
вони не підмінені випадковою сумішшю в цьому пакеті.
## Параметри й продуктивність
За замовчуванням: sequence **2048**, micro-batch **8**, накопичення **8**,
**131 072 токени/оновлення**, повний FP32 GPU AdamW, BF16 autocast,
activation checkpointing, TF32 для відповідних FP32 матричних операцій,
loss блоками 1024, clipping 1,0, betas 0,9/0,95, weight decay 0,1.
LR 0,00015 → 0,000015, warmup 1000 кроків, cosine decay. Приблизно
305 176 оновлень; останнє маскується, щоб не перевищити рівно 40 млрд токенів.
Циклічне читання проходить корпус послідовно, а не вибирає випадкові
послідовності з повторенням. На останній межі останній токен передбачає перший.
Локальний блок архітектури залишається 128 токенів; 2048 — довжина
послідовності навчання, а не обіцянка точного зберігання всього контексту.
Тривала пам’ять лишається стисненими fast/slow станами вашої архітектури.
Перед довгим навчанням можна обмежити перший запуск десятьма оновленнями:
```bash
python3.12 run_40b.py --weights /srv/models/latest.pt --work-dir /srv/warpstate40b --max-steps 10
```
Підготовка все одно створить повний 40B-корпус. Потім приберіть `--max-steps`
і повторіть команду: продовжиться той самий 40B-розклад.
Опційний `--compile` вмикає Linux Inductor; потрібні сумісні компілятори,
перший запуск довший. Вибирайте його **до першого навчального запуску**.
За замовчуванням він вимкнений, оскільки повний compile цього сценарію на
RTX PRO 6000 тут не перевірявся. Так само не виміряно оптимальний micro-batch.
За OOM зменшіть micro-batch і відповідно збільште накопичення **до початку
нового запуску**; відновлення навмисно не дозволяє мовчки змінювати налаштування.
Фактична швидкість виводиться після кожного кроку й включає forward,
backward, clipping, AdamW та отримання пакета. Вона не включає підготовку
корпусу, validation, компіляцію й запис checkpoint. **10 000 токенів/с не
гарантуються**: повна модель на цій серверній карті тут не запускалась.
Для масштабу, суто арифметично: 40B при 10 000 токенів/с — 46,3 доби
чистого навчання, при 20 000 — 23,1 доби, без додаткових витрат.
Validation виконується кожні 500 кроків на незмінних позиціях; checkpoint —
кожні 1000 та при штатній зупинці. Одне збереження моделі з GPU AdamW
займає приблизно 24 ГБ; атомарна заміна потребує місця для двох файлів.
Довге навчання означає великий сумарний обсяг записів на диск.
## Файли й перевірки
- `work/data/train.bin`, `val.bin`, `manifest.json`, `prepare-state.pkl` — дані та їхній прогрес.
- `work/run/latest.pt` — відновлюваний серверний checkpoint.
- `work/run/metrics.jsonl`, `validation.jsonl`, `settings.json` — журнал і параметри.
- `.server-venv/requirements-resolved.txt` — точний список встановлених залежностей.
- `PACKAGE_MANIFEST.json` — контрольні суми файлів архіву.
Код підготовки й навчання локально перевірений на маленькій моделі:
маска останнього пакета, відновлення підготовки з відкиданням незбереженого
хвоста, точний збіг ваг і станів AdamW між безперервним і відновленим
CUDA-навчанням, відхилення зміненого LR. Це не серверний бенчмарк 2B/96 ГБ.
Також перевірено справжній HF streaming на 10 000 train + 64 validation
токенах: відновлення дає побайтово ті самі файли, SHA256 збігаються.
Локальна перевірка виконувалася на Windows/RTX 5070; Linux bootstrap та
повне навчання 2B на 96 ГБ потрібно перевірити на вашому сервері.
Для відтворення тестів у встановленому середовищі:
```bash
.server-venv/bin/python -m pip install pytest==9.1.1
.server-venv/bin/python -m pytest test_server.py -q
```
Лише trusted локальні checkpoint/state-файли: PyTorch та pickle можуть
виконувати код під час читання. Не підставляйте невідомі файли з інтернету.
## Джерела
- [FineWeb-Edu: опис, англійська мова, sample-100BT, ODC-BY](https://huggingface.co/datasets/HuggingFaceFW/fineweb-edu).
- [Hugging Face: streaming та відновлення IterableDataset](https://huggingface.co/docs/datasets/stream).
- [NVIDIA: RTX PRO 6000 Blackwell 96 ГБ](https://www.nvidia.com/en-sg/data-center/rtx-pro-6000-blackwell-server-edition/).
- [CUDA-версія PyTorch](https://download.pytorch.org/whl/cu130/torch/).