WarpStateAI / README_UK.md
zerdovzad's picture
Upload 139 files
c8ba9c6 verified
|
Raw History Blame Contribute Delete
13.6 kB

WarpState 2B: один запуск на RTX PRO 6000 Blackwell 96 ГБ

Архів містить код вашої WarpState, точний наявний токенізатор і єдиний керівний скрипт run_40b.py. Ваг моделі та 80 ГБ даних в архіві немає. Ваги беруться з вашого сервера, дані готуються на сервері автоматично.

Запуск

Потрібні Linux x86_64, Python 3.12–3.14 з модулем venv, робочий NVIDIA драйвер, сумісний із CUDA 13.0, одна RTX PRO 6000 Blackwell 96 ГБ, інтернет і рекомендовано 250 ГБ вільного SSD/NVMe. Бажано 128 ГБ RAM; фактичні потреби залежать від завантаження checkpoint і підготовки даних. Скрипт не встановлює системний драйвер і не змінює інші Python-середовища.

Розпакуйте ZIP, перейдіть у його папку та підставте справжній шлях до ваг:

cd rtx6000_40b
python3.12 run_40b.py --weights /srv/models/latest.pt --work-dir /srv/warpstate40b

Ця одна команда:

  1. Створює .server-venv та встановлює CUDA PyTorch і залежності.
  2. Перевіряє GPU, формат/архітектуру ваг, розмір словника й доступне місце.
  3. Потоково читає FineWeb-Edu та готує рівно 40 000 000 000 train-токенів вашим токенізатором плюс 1 048 576 validation-токенів.
  4. Запускає повне навчання всіх параметрів із GPU AdamW та BF16-обчисленнями.
  5. Пише метрики, validation і checkpoint з можливістю відновлення.

Для запуску з від’єднанням від SSH використовуйте вже встановлений tmux або стандартний nohup. Наприклад:

nohup python3.12 -u run_40b.py --weights /srv/models/latest.pt --work-dir /srv/warpstate40b > server.log 2>&1 &
echo $! > server.pid
tail -f server.log

Завершення через Ctrl+C у передньому плані або kill -TERM <PID> для процесу скрипта зберігає прогрес. Дочекайтеся Saved ...latest.pt та виходу процесу. У підготовці корпусу зберігається позиція читання й записані токени. Не використовуйте kill -9, коли потрібні останні незбережені оновлення. Повторна та сама команда відновлює запуск. Одночасний запуск у тому самому --work-dir захищено блокуванням.

Які ваги підходять

Це код вашої WarpState 2B, а не універсальний тренер для Llama/Qwen. Очікується ваш PyTorch latest.pt з полями model і config. Для старого CPU-offload checkpoint використовуються точні FP32 master-ваги, якщо вони є. Токенізатор в архіві — той самий tokenizer.model, що у проєкті. Не замінюйте його на інший зі схожим розміром словника: перевірка розміру не доводить однакової відповідності ID словам.

Перше завантаження через --weights — початок нового 40B-запуску з ваших ваг: старий 300M-розклад і старі моменти AdamW не переносяться. Записується походження ваг і попередній лічильник токенів. У наступних перезапусках work/run/latest.pt відновлюються ваги, AdamW, RNG, позиція корпусу, лічильник та розклад нового запуску. Оригінальний файл --weights не перезаписується.

Дані та очікування якості

Джерело: HuggingFaceFW/fineweb-edu, sample-100BT. Це відфільтрований англомовний корпус для попереднього навчання. Число токенів у його назві пораховане іншим токенізатором; скрипт сам відміряє 40 млрд саме вашим SentencePiece. Ці 40 млрд — додаткові токени нового запуску, незалежно від кількості токенів у початкових вагах.

У кожен документ додається EOS. Незмінний SHA256 тексту визначає train або holdout; усі holdout-документи виключаються з train навіть після заповнення validation. Повтор того самого тексту потрапляє в той самий розділ; це не додаткова глобальна дедуплікація майже однакових документів. Ревізія джерела фіксується як commit SHA. Підготовка відновлюється через стан HF IterableDataset; незавершений хвіст вихідного файла відкочується до останньої узгодженої точки. Якщо джерело закінчиться раніше, скрипт зупиниться, а не доповнюватиме корпус нескінченними повтореннями.

Два uint16-файли займають приблизно 80,0 ГБ / 74,5 GiB. Обсяг мережевого трафіку більший; вихідні тексти не завантажуються до ZIP. Підготовка може зайняти години або дні. Це не вже готовий 40B-корпус у маленькому архіві. Наприкінці обчислюються SHA256 файлів. Повна повторна перевірка даних:

python3.12 run_40b.py --stage train --work-dir /srv/warpstate40b --weights /srv/models/latest.pt --verify-data

40 млрд токенів — суттєвий бюджет для експерименту з 2B, але кількість токенів не гарантує якість. Тут експериментальна архітектура; оцінюйте validation, мовні/фактологічні тести й реальні відповіді. Англомовний pretraining сам по собі не робить модель якісним українським чат-асистентом. Для цього потрібні відповідні українські дані, instruction tuning та окрема оцінка; вони не підмінені випадковою сумішшю в цьому пакеті.

Параметри й продуктивність

За замовчуванням: sequence 2048, micro-batch 8, накопичення 8, 131 072 токени/оновлення, повний FP32 GPU AdamW, BF16 autocast, activation checkpointing, TF32 для відповідних FP32 матричних операцій, loss блоками 1024, clipping 1,0, betas 0,9/0,95, weight decay 0,1. LR 0,00015 → 0,000015, warmup 1000 кроків, cosine decay. Приблизно 305 176 оновлень; останнє маскується, щоб не перевищити рівно 40 млрд токенів. Циклічне читання проходить корпус послідовно, а не вибирає випадкові послідовності з повторенням. На останній межі останній токен передбачає перший.

Локальний блок архітектури залишається 128 токенів; 2048 — довжина послідовності навчання, а не обіцянка точного зберігання всього контексту. Тривала пам’ять лишається стисненими fast/slow станами вашої архітектури.

Перед довгим навчанням можна обмежити перший запуск десятьма оновленнями:

python3.12 run_40b.py --weights /srv/models/latest.pt --work-dir /srv/warpstate40b --max-steps 10

Підготовка все одно створить повний 40B-корпус. Потім приберіть --max-steps і повторіть команду: продовжиться той самий 40B-розклад. Опційний --compile вмикає Linux Inductor; потрібні сумісні компілятори, перший запуск довший. Вибирайте його до першого навчального запуску. За замовчуванням він вимкнений, оскільки повний compile цього сценарію на RTX PRO 6000 тут не перевірявся. Так само не виміряно оптимальний micro-batch. За OOM зменшіть micro-batch і відповідно збільште накопичення до початку нового запуску; відновлення навмисно не дозволяє мовчки змінювати налаштування.

Фактична швидкість виводиться після кожного кроку й включає forward, backward, clipping, AdamW та отримання пакета. Вона не включає підготовку корпусу, validation, компіляцію й запис checkpoint. 10 000 токенів/с не гарантуються: повна модель на цій серверній карті тут не запускалась. Для масштабу, суто арифметично: 40B при 10 000 токенів/с — 46,3 доби чистого навчання, при 20 000 — 23,1 доби, без додаткових витрат.

Validation виконується кожні 500 кроків на незмінних позиціях; checkpoint — кожні 1000 та при штатній зупинці. Одне збереження моделі з GPU AdamW займає приблизно 24 ГБ; атомарна заміна потребує місця для двох файлів. Довге навчання означає великий сумарний обсяг записів на диск.

Файли й перевірки

  • work/data/train.bin, val.bin, manifest.json, prepare-state.pkl — дані та їхній прогрес.
  • work/run/latest.pt — відновлюваний серверний checkpoint.
  • work/run/metrics.jsonl, validation.jsonl, settings.json — журнал і параметри.
  • .server-venv/requirements-resolved.txt — точний список встановлених залежностей.
  • PACKAGE_MANIFEST.json — контрольні суми файлів архіву.

Код підготовки й навчання локально перевірений на маленькій моделі: маска останнього пакета, відновлення підготовки з відкиданням незбереженого хвоста, точний збіг ваг і станів AdamW між безперервним і відновленим CUDA-навчанням, відхилення зміненого LR. Це не серверний бенчмарк 2B/96 ГБ. Також перевірено справжній HF streaming на 10 000 train + 64 validation токенах: відновлення дає побайтово ті самі файли, SHA256 збігаються. Локальна перевірка виконувалася на Windows/RTX 5070; Linux bootstrap та повне навчання 2B на 96 ГБ потрібно перевірити на вашому сервері.

Для відтворення тестів у встановленому середовищі:

.server-venv/bin/python -m pip install pytest==9.1.1
.server-venv/bin/python -m pytest test_server.py -q

Лише trusted локальні checkpoint/state-файли: PyTorch та pickle можуть виконувати код під час читання. Не підставляйте невідомі файли з інтернету.

Джерела