|
Download README_UK.md from zerdovzad/WarpStateAI: direct link, hf CLI and curl.
- Browser
- Download file 13.6 kB
-
https://huggingface.co/zerdovzad/WarpStateAI/resolve/main/README_UK.md
- Command line
-
hf download hf://zerdovzad/WarpStateAI/README_UK.md
-
curl -L -o README_UK.md https://huggingface.co/zerdovzad/WarpStateAI/resolve/main/README_UK.md
13.6 kB
| # WarpState 2B: один запуск на RTX PRO 6000 Blackwell 96 ГБ | |
| Архів містить код вашої WarpState, точний наявний токенізатор і єдиний | |
| керівний скрипт `run_40b.py`. Ваг моделі та 80 ГБ даних в архіві немає. | |
| Ваги беруться з вашого сервера, дані готуються на сервері автоматично. | |
| ## Запуск | |
| Потрібні Linux x86_64, **Python 3.12–3.14 з модулем venv**, робочий NVIDIA | |
| драйвер, сумісний із CUDA 13.0, одна RTX PRO 6000 Blackwell 96 ГБ, | |
| інтернет і рекомендовано **250 ГБ вільного SSD/NVMe**. Бажано 128 ГБ RAM; | |
| фактичні потреби залежать від завантаження checkpoint і підготовки даних. | |
| Скрипт не встановлює системний драйвер і не змінює інші Python-середовища. | |
| Розпакуйте ZIP, перейдіть у його папку та підставте справжній шлях до ваг: | |
| ```bash | |
| cd rtx6000_40b | |
| python3.12 run_40b.py --weights /srv/models/latest.pt --work-dir /srv/warpstate40b | |
| ``` | |
| Ця **одна команда**: | |
| 1. Створює `.server-venv` та встановлює CUDA PyTorch і залежності. | |
| 2. Перевіряє GPU, формат/архітектуру ваг, розмір словника й доступне місце. | |
| 3. Потоково читає FineWeb-Edu та готує **рівно 40 000 000 000 train-токенів** | |
| вашим токенізатором плюс 1 048 576 validation-токенів. | |
| 4. Запускає повне навчання всіх параметрів із GPU AdamW та BF16-обчисленнями. | |
| 5. Пише метрики, validation і checkpoint з можливістю відновлення. | |
| Для запуску з від’єднанням від SSH використовуйте вже встановлений tmux | |
| або стандартний nohup. Наприклад: | |
| ```bash | |
| nohup python3.12 -u run_40b.py --weights /srv/models/latest.pt --work-dir /srv/warpstate40b > server.log 2>&1 & | |
| echo $! > server.pid | |
| tail -f server.log | |
| ``` | |
| Завершення через Ctrl+C у передньому плані або `kill -TERM <PID>` для процесу | |
| скрипта зберігає прогрес. Дочекайтеся `Saved ...latest.pt` та виходу процесу. | |
| У підготовці корпусу зберігається позиція читання й записані токени. | |
| Не використовуйте `kill -9`, коли потрібні останні незбережені оновлення. | |
| Повторна **та сама команда** відновлює запуск. Одночасний запуск у тому | |
| самому `--work-dir` захищено блокуванням. | |
| ## Які ваги підходять | |
| Це код **вашої WarpState 2B**, а не універсальний тренер для Llama/Qwen. | |
| Очікується ваш PyTorch `latest.pt` з полями `model` і `config`. | |
| Для старого CPU-offload checkpoint використовуються точні FP32 master-ваги, | |
| якщо вони є. Токенізатор в архіві — той самий `tokenizer.model`, що у проєкті. | |
| Не замінюйте його на інший зі схожим розміром словника: перевірка розміру | |
| не доводить однакової відповідності ID словам. | |
| Перше завантаження через `--weights` — **початок нового 40B-запуску з ваших | |
| ваг**: старий 300M-розклад і старі моменти AdamW не переносяться. | |
| Записується походження ваг і попередній лічильник токенів. | |
| У наступних перезапусках `work/run/latest.pt` відновлюються ваги, | |
| AdamW, RNG, позиція корпусу, лічильник та розклад нового запуску. | |
| Оригінальний файл `--weights` не перезаписується. | |
| ## Дані та очікування якості | |
| Джерело: [HuggingFaceFW/fineweb-edu, sample-100BT](https://huggingface.co/datasets/HuggingFaceFW/fineweb-edu). | |
| Це відфільтрований **англомовний** корпус для попереднього навчання. | |
| Число токенів у його назві пораховане іншим токенізатором; скрипт сам | |
| відміряє 40 млрд саме вашим SentencePiece. Ці 40 млрд — додаткові токени | |
| нового запуску, незалежно від кількості токенів у початкових вагах. | |
| У кожен документ додається EOS. Незмінний SHA256 тексту визначає train | |
| або holdout; усі holdout-документи виключаються з train навіть після | |
| заповнення validation. Повтор того самого тексту потрапляє в той самий | |
| розділ; це не додаткова глобальна дедуплікація майже однакових документів. | |
| Ревізія джерела фіксується як commit SHA. Підготовка відновлюється через | |
| стан HF IterableDataset; незавершений хвіст вихідного файла відкочується | |
| до останньої узгодженої точки. Якщо джерело закінчиться раніше, скрипт | |
| зупиниться, а не доповнюватиме корпус нескінченними повтореннями. | |
| Два uint16-файли займають приблизно **80,0 ГБ / 74,5 GiB**. Обсяг мережевого | |
| трафіку більший; вихідні тексти не завантажуються до ZIP. Підготовка може | |
| зайняти години або дні. Це не вже готовий 40B-корпус у маленькому архіві. | |
| Наприкінці обчислюються SHA256 файлів. Повна повторна перевірка даних: | |
| ```bash | |
| python3.12 run_40b.py --stage train --work-dir /srv/warpstate40b --weights /srv/models/latest.pt --verify-data | |
| ``` | |
| 40 млрд токенів — суттєвий бюджет для експерименту з 2B, але кількість токенів | |
| не гарантує якість. Тут експериментальна архітектура; оцінюйте validation, | |
| мовні/фактологічні тести й реальні відповіді. Англомовний pretraining сам | |
| по собі не робить модель якісним українським чат-асистентом. Для цього | |
| потрібні відповідні українські дані, instruction tuning та окрема оцінка; | |
| вони не підмінені випадковою сумішшю в цьому пакеті. | |
| ## Параметри й продуктивність | |
| За замовчуванням: sequence **2048**, micro-batch **8**, накопичення **8**, | |
| **131 072 токени/оновлення**, повний FP32 GPU AdamW, BF16 autocast, | |
| activation checkpointing, TF32 для відповідних FP32 матричних операцій, | |
| loss блоками 1024, clipping 1,0, betas 0,9/0,95, weight decay 0,1. | |
| LR 0,00015 → 0,000015, warmup 1000 кроків, cosine decay. Приблизно | |
| 305 176 оновлень; останнє маскується, щоб не перевищити рівно 40 млрд токенів. | |
| Циклічне читання проходить корпус послідовно, а не вибирає випадкові | |
| послідовності з повторенням. На останній межі останній токен передбачає перший. | |
| Локальний блок архітектури залишається 128 токенів; 2048 — довжина | |
| послідовності навчання, а не обіцянка точного зберігання всього контексту. | |
| Тривала пам’ять лишається стисненими fast/slow станами вашої архітектури. | |
| Перед довгим навчанням можна обмежити перший запуск десятьма оновленнями: | |
| ```bash | |
| python3.12 run_40b.py --weights /srv/models/latest.pt --work-dir /srv/warpstate40b --max-steps 10 | |
| ``` | |
| Підготовка все одно створить повний 40B-корпус. Потім приберіть `--max-steps` | |
| і повторіть команду: продовжиться той самий 40B-розклад. | |
| Опційний `--compile` вмикає Linux Inductor; потрібні сумісні компілятори, | |
| перший запуск довший. Вибирайте його **до першого навчального запуску**. | |
| За замовчуванням він вимкнений, оскільки повний compile цього сценарію на | |
| RTX PRO 6000 тут не перевірявся. Так само не виміряно оптимальний micro-batch. | |
| За OOM зменшіть micro-batch і відповідно збільште накопичення **до початку | |
| нового запуску**; відновлення навмисно не дозволяє мовчки змінювати налаштування. | |
| Фактична швидкість виводиться після кожного кроку й включає forward, | |
| backward, clipping, AdamW та отримання пакета. Вона не включає підготовку | |
| корпусу, validation, компіляцію й запис checkpoint. **10 000 токенів/с не | |
| гарантуються**: повна модель на цій серверній карті тут не запускалась. | |
| Для масштабу, суто арифметично: 40B при 10 000 токенів/с — 46,3 доби | |
| чистого навчання, при 20 000 — 23,1 доби, без додаткових витрат. | |
| Validation виконується кожні 500 кроків на незмінних позиціях; checkpoint — | |
| кожні 1000 та при штатній зупинці. Одне збереження моделі з GPU AdamW | |
| займає приблизно 24 ГБ; атомарна заміна потребує місця для двох файлів. | |
| Довге навчання означає великий сумарний обсяг записів на диск. | |
| ## Файли й перевірки | |
| - `work/data/train.bin`, `val.bin`, `manifest.json`, `prepare-state.pkl` — дані та їхній прогрес. | |
| - `work/run/latest.pt` — відновлюваний серверний checkpoint. | |
| - `work/run/metrics.jsonl`, `validation.jsonl`, `settings.json` — журнал і параметри. | |
| - `.server-venv/requirements-resolved.txt` — точний список встановлених залежностей. | |
| - `PACKAGE_MANIFEST.json` — контрольні суми файлів архіву. | |
| Код підготовки й навчання локально перевірений на маленькій моделі: | |
| маска останнього пакета, відновлення підготовки з відкиданням незбереженого | |
| хвоста, точний збіг ваг і станів AdamW між безперервним і відновленим | |
| CUDA-навчанням, відхилення зміненого LR. Це не серверний бенчмарк 2B/96 ГБ. | |
| Також перевірено справжній HF streaming на 10 000 train + 64 validation | |
| токенах: відновлення дає побайтово ті самі файли, SHA256 збігаються. | |
| Локальна перевірка виконувалася на Windows/RTX 5070; Linux bootstrap та | |
| повне навчання 2B на 96 ГБ потрібно перевірити на вашому сервері. | |
| Для відтворення тестів у встановленому середовищі: | |
| ```bash | |
| .server-venv/bin/python -m pip install pytest==9.1.1 | |
| .server-venv/bin/python -m pytest test_server.py -q | |
| ``` | |
| Лише trusted локальні checkpoint/state-файли: PyTorch та pickle можуть | |
| виконувати код під час читання. Не підставляйте невідомі файли з інтернету. | |
| ## Джерела | |
| - [FineWeb-Edu: опис, англійська мова, sample-100BT, ODC-BY](https://huggingface.co/datasets/HuggingFaceFW/fineweb-edu). | |
| - [Hugging Face: streaming та відновлення IterableDataset](https://huggingface.co/docs/datasets/stream). | |
| - [NVIDIA: RTX PRO 6000 Blackwell 96 ГБ](https://www.nvidia.com/en-sg/data-center/rtx-pro-6000-blackwell-server-edition/). | |
| - [CUDA-версія PyTorch](https://download.pytorch.org/whl/cu130/torch/). | |