# WarpState 2B: один запуск на RTX PRO 6000 Blackwell 96 ГБ Архів містить код вашої WarpState, точний наявний токенізатор і єдиний керівний скрипт `run_40b.py`. Ваг моделі та 80 ГБ даних в архіві немає. Ваги беруться з вашого сервера, дані готуються на сервері автоматично. ## Запуск Потрібні Linux x86_64, **Python 3.12–3.14 з модулем venv**, робочий NVIDIA драйвер, сумісний із CUDA 13.0, одна RTX PRO 6000 Blackwell 96 ГБ, інтернет і рекомендовано **250 ГБ вільного SSD/NVMe**. Бажано 128 ГБ RAM; фактичні потреби залежать від завантаження checkpoint і підготовки даних. Скрипт не встановлює системний драйвер і не змінює інші Python-середовища. Розпакуйте ZIP, перейдіть у його папку та підставте справжній шлях до ваг: ```bash cd rtx6000_40b python3.12 run_40b.py --weights /srv/models/latest.pt --work-dir /srv/warpstate40b ``` Ця **одна команда**: 1. Створює `.server-venv` та встановлює CUDA PyTorch і залежності. 2. Перевіряє GPU, формат/архітектуру ваг, розмір словника й доступне місце. 3. Потоково читає FineWeb-Edu та готує **рівно 40 000 000 000 train-токенів** вашим токенізатором плюс 1 048 576 validation-токенів. 4. Запускає повне навчання всіх параметрів із GPU AdamW та BF16-обчисленнями. 5. Пише метрики, validation і checkpoint з можливістю відновлення. Для запуску з від’єднанням від SSH використовуйте вже встановлений tmux або стандартний nohup. Наприклад: ```bash nohup python3.12 -u run_40b.py --weights /srv/models/latest.pt --work-dir /srv/warpstate40b > server.log 2>&1 & echo $! > server.pid tail -f server.log ``` Завершення через Ctrl+C у передньому плані або `kill -TERM ` для процесу скрипта зберігає прогрес. Дочекайтеся `Saved ...latest.pt` та виходу процесу. У підготовці корпусу зберігається позиція читання й записані токени. Не використовуйте `kill -9`, коли потрібні останні незбережені оновлення. Повторна **та сама команда** відновлює запуск. Одночасний запуск у тому самому `--work-dir` захищено блокуванням. ## Які ваги підходять Це код **вашої WarpState 2B**, а не універсальний тренер для Llama/Qwen. Очікується ваш PyTorch `latest.pt` з полями `model` і `config`. Для старого CPU-offload checkpoint використовуються точні FP32 master-ваги, якщо вони є. Токенізатор в архіві — той самий `tokenizer.model`, що у проєкті. Не замінюйте його на інший зі схожим розміром словника: перевірка розміру не доводить однакової відповідності ID словам. Перше завантаження через `--weights` — **початок нового 40B-запуску з ваших ваг**: старий 300M-розклад і старі моменти AdamW не переносяться. Записується походження ваг і попередній лічильник токенів. У наступних перезапусках `work/run/latest.pt` відновлюються ваги, AdamW, RNG, позиція корпусу, лічильник та розклад нового запуску. Оригінальний файл `--weights` не перезаписується. ## Дані та очікування якості Джерело: [HuggingFaceFW/fineweb-edu, sample-100BT](https://huggingface.co/datasets/HuggingFaceFW/fineweb-edu). Це відфільтрований **англомовний** корпус для попереднього навчання. Число токенів у його назві пораховане іншим токенізатором; скрипт сам відміряє 40 млрд саме вашим SentencePiece. Ці 40 млрд — додаткові токени нового запуску, незалежно від кількості токенів у початкових вагах. У кожен документ додається EOS. Незмінний SHA256 тексту визначає train або holdout; усі holdout-документи виключаються з train навіть після заповнення validation. Повтор того самого тексту потрапляє в той самий розділ; це не додаткова глобальна дедуплікація майже однакових документів. Ревізія джерела фіксується як commit SHA. Підготовка відновлюється через стан HF IterableDataset; незавершений хвіст вихідного файла відкочується до останньої узгодженої точки. Якщо джерело закінчиться раніше, скрипт зупиниться, а не доповнюватиме корпус нескінченними повтореннями. Два uint16-файли займають приблизно **80,0 ГБ / 74,5 GiB**. Обсяг мережевого трафіку більший; вихідні тексти не завантажуються до ZIP. Підготовка може зайняти години або дні. Це не вже готовий 40B-корпус у маленькому архіві. Наприкінці обчислюються SHA256 файлів. Повна повторна перевірка даних: ```bash python3.12 run_40b.py --stage train --work-dir /srv/warpstate40b --weights /srv/models/latest.pt --verify-data ``` 40 млрд токенів — суттєвий бюджет для експерименту з 2B, але кількість токенів не гарантує якість. Тут експериментальна архітектура; оцінюйте validation, мовні/фактологічні тести й реальні відповіді. Англомовний pretraining сам по собі не робить модель якісним українським чат-асистентом. Для цього потрібні відповідні українські дані, instruction tuning та окрема оцінка; вони не підмінені випадковою сумішшю в цьому пакеті. ## Параметри й продуктивність За замовчуванням: sequence **2048**, micro-batch **8**, накопичення **8**, **131 072 токени/оновлення**, повний FP32 GPU AdamW, BF16 autocast, activation checkpointing, TF32 для відповідних FP32 матричних операцій, loss блоками 1024, clipping 1,0, betas 0,9/0,95, weight decay 0,1. LR 0,00015 → 0,000015, warmup 1000 кроків, cosine decay. Приблизно 305 176 оновлень; останнє маскується, щоб не перевищити рівно 40 млрд токенів. Циклічне читання проходить корпус послідовно, а не вибирає випадкові послідовності з повторенням. На останній межі останній токен передбачає перший. Локальний блок архітектури залишається 128 токенів; 2048 — довжина послідовності навчання, а не обіцянка точного зберігання всього контексту. Тривала пам’ять лишається стисненими fast/slow станами вашої архітектури. Перед довгим навчанням можна обмежити перший запуск десятьма оновленнями: ```bash python3.12 run_40b.py --weights /srv/models/latest.pt --work-dir /srv/warpstate40b --max-steps 10 ``` Підготовка все одно створить повний 40B-корпус. Потім приберіть `--max-steps` і повторіть команду: продовжиться той самий 40B-розклад. Опційний `--compile` вмикає Linux Inductor; потрібні сумісні компілятори, перший запуск довший. Вибирайте його **до першого навчального запуску**. За замовчуванням він вимкнений, оскільки повний compile цього сценарію на RTX PRO 6000 тут не перевірявся. Так само не виміряно оптимальний micro-batch. За OOM зменшіть micro-batch і відповідно збільште накопичення **до початку нового запуску**; відновлення навмисно не дозволяє мовчки змінювати налаштування. Фактична швидкість виводиться після кожного кроку й включає forward, backward, clipping, AdamW та отримання пакета. Вона не включає підготовку корпусу, validation, компіляцію й запис checkpoint. **10 000 токенів/с не гарантуються**: повна модель на цій серверній карті тут не запускалась. Для масштабу, суто арифметично: 40B при 10 000 токенів/с — 46,3 доби чистого навчання, при 20 000 — 23,1 доби, без додаткових витрат. Validation виконується кожні 500 кроків на незмінних позиціях; checkpoint — кожні 1000 та при штатній зупинці. Одне збереження моделі з GPU AdamW займає приблизно 24 ГБ; атомарна заміна потребує місця для двох файлів. Довге навчання означає великий сумарний обсяг записів на диск. ## Файли й перевірки - `work/data/train.bin`, `val.bin`, `manifest.json`, `prepare-state.pkl` — дані та їхній прогрес. - `work/run/latest.pt` — відновлюваний серверний checkpoint. - `work/run/metrics.jsonl`, `validation.jsonl`, `settings.json` — журнал і параметри. - `.server-venv/requirements-resolved.txt` — точний список встановлених залежностей. - `PACKAGE_MANIFEST.json` — контрольні суми файлів архіву. Код підготовки й навчання локально перевірений на маленькій моделі: маска останнього пакета, відновлення підготовки з відкиданням незбереженого хвоста, точний збіг ваг і станів AdamW між безперервним і відновленим CUDA-навчанням, відхилення зміненого LR. Це не серверний бенчмарк 2B/96 ГБ. Також перевірено справжній HF streaming на 10 000 train + 64 validation токенах: відновлення дає побайтово ті самі файли, SHA256 збігаються. Локальна перевірка виконувалася на Windows/RTX 5070; Linux bootstrap та повне навчання 2B на 96 ГБ потрібно перевірити на вашому сервері. Для відтворення тестів у встановленому середовищі: ```bash .server-venv/bin/python -m pip install pytest==9.1.1 .server-venv/bin/python -m pytest test_server.py -q ``` Лише trusted локальні checkpoint/state-файли: PyTorch та pickle можуть виконувати код під час читання. Не підставляйте невідомі файли з інтернету. ## Джерела - [FineWeb-Edu: опис, англійська мова, sample-100BT, ODC-BY](https://huggingface.co/datasets/HuggingFaceFW/fineweb-edu). - [Hugging Face: streaming та відновлення IterableDataset](https://huggingface.co/docs/datasets/stream). - [NVIDIA: RTX PRO 6000 Blackwell 96 ГБ](https://www.nvidia.com/en-sg/data-center/rtx-pro-6000-blackwell-server-edition/). - [CUDA-версія PyTorch](https://download.pytorch.org/whl/cu130/torch/).