expected-greenness / TRAINING_LOG.md
Konuktor92's picture
Add training log (all steps, v1 and v2-ca)
fc0260b verified
|
Raw History Blame Contribute Delete
23.1 kB

TrendeX ML: журнал обучения моделей

Хронологический журнал всего, что сделано для моделей «ожидаемой зелени»: данные, решения, ошибки и их исправления, результаты. Правила журнала:

  • Протокол каждой модели фиксируется коммитом в git до первого обучения. Если меняется после результатов — это новая версия, а не правка.
  • Все числа ниже взяты из файлов результатов (metrics.json, products_summary.json, qa_report.json, логи в artifacts/logs/), а не набраны вручную.
  • Время — местное (UTC+6), 14–15.11.2026. Логи на машинах Vast пишут время в UTC.

Модель v1: Нарынская область (выпущена)

1. Постановка (14.11, ~17:30)

  • Цель (из PRD v2.2, функции F9/F15): предсказать летнюю аномалию NDVI каждой ячейки 1 км только по погоде и рельефу. Остаток «наблюдение − ожидание» = изменение, не объяснённое погодой (без слова «причина»).
  • Ядро продукта (уровень × динамика) остаётся открытой формулой; модель — дополнительный слой.
  • Не обучаем: балл пригодности (метка = наша формула, получилось бы замкнуто), биомассу/поголовье (нет полевой разметки).
  • План: docs/ в этой папке, файл плана из сессии (см. trendex-ml-training-plan.md уровнем выше).

2. Инфраструктура (17:52)

  • Vast.ai, машина 60641257: RTX 4070 (12 ГБ), 40 ядер, 251 ГБ ОЗУ, 150 ГБ диска, $0.257/ч с диском. Образ pytorch/pytorch:2.5.1-cuda12.4-cudnn9-runtime.
  • Окружение: scripts/setup_box.sh (rasterio 1.4.4 / GDAL 3.10.3, xgboost 3.2.0 с CUDA, lightgbm 4.7.0, earthaccess 0.17.0). Проверка XGBOOST_CUDA_OK.

3. Данные (17:55–19:30)

  • Источник выбран по вкладке Resources челленджа (AppEEARS, Giovanni). Проверочный скрипт scripts/00_smoke.py: IMERG и GLDAS скачались и открылись (Сон-Куль, июль 2020: 0,075 мм/ч ≈ 56 мм/мес; воздух 282,5 K).
  • AppEEARS: все запросы приняты, но за ~1,5 ч очередь дошла только до «processing» по одному продукту. Первый скачивальщик упал на 429 Too Many Requests (два скрипта опрашивали API слишком часто) → переписан: один логин, один запрос статуса всех задач раз в 3 мин, ожидание при 429.
  • Решение: те же продукты и версии взяты напрямую с LP DAAC и GES DISC через earthaccess (scripts/10_download.py lpdaac|gesdisc). AppEEARS остановлен, чтобы куб был из одного источника.
  • С ~18:17 до ~19:27 SSH к машине не отвечал (канал был забит загрузками); загрузки при этом завершились.
  • Скачано: MOD13A3 (933 тайла-месяца, 20 ГБ), MYD13A3 (846, 18 ГБ), MOD11A2 (29 ГБ), MOD10A2 (2,7 ГБ), MCD12Q1 2020 (3 тайла), NASADEM (18 тайлов), IMERG (304 мес.), GLDAS (312 мес.).

4. Область (19:00)

  • scripts/05_aoi.py: Нарынская область = 5 районов geoBoundaries ADM2 (Ак-Талаа, Ат-Башы, Жумгал, Кочкор, Нарын), 45 416 км² (официально ~45 200). Контур ADM1 «Naryn Region» в geoBoundaries ошибочно включает Тогуз-Тороский район и расходится с ADM2 на ~1 900 км² у Суусамыра → такие ячейки помечены boundary_conflict.
  • Буфер 20 км + прямоугольники для «известных мест» вне области (Суусамыр, Ак-Шыйрак).

5. Куб (19:30–20:00)

  • scripts/20_build_cube.py: глобальная синусоидальная сетка MODIS 1 км (NDVI не пересэмплируется), 305 × 533; 87 637 ячеек в зоне запроса, 52 869 в области; сборка 256 с.
  • QA (artifacts/qa_report.json): 27 255 107 месячных строк, корреляция NDVI Terra–Aqua 0,935; пропуски май–сентябрь ≈ 0 (кроме Aqua до 2002).
  • Куб опубликован: TrendeX90/naryn-cube (частичный срез NDVI → полный).

6. Протокол v1 (коммит 16a02fe, до обучения)

  • configs/model_v1.yaml: цель = аномалия NDVI относительно нормы ячейки и месяца (норма только по годам обучения, без собственного года); признаки = рельеф, покров, месяц, норма, аномалии погоды (IMERG, MODIS LST, MODIS snow, GLDAS); исключены год, координаты, прошлые NDVI.
  • Тесты: временной (обучение 2001–2019, тест 2020–2025), пространственный (GroupKFold по суперблокам ~30 км), подбор только на 2001–2015 → 2016–2019.
  • Базовые модели: норма (аномалия 0) и ridge. Правило выпуска: нижняя граница 95% ДИ выигрыша над ridge > 0 на обоих тестах.

7. Обучение (коммит скрипта 92ed159, 19:37–19:44)

  • 50 168 пастбищных ячеек × 25 лет × 5 месяцев.

  • Подбор: 40 попыток Optuna, лучшее RMSE на проверочных годах 0,0534 (ridge 0,0556), 145 деревьев глубиной 4.

  • Временной тест (1 484 947 строк, 6 лет):

    RMSE MAE корр. аномалий терцили (bal. acc.)
    XGBoost 0,0554 0,0397 0,424 0,455
    Ridge 0,0588 0,0425 0,288 0,410
    Норма 0,0616 0,0433 — 0,333

    Выигрыш над ridge 0,113 [0,089; 0,133]; над нормой 0,191 [0,160; 0,215]. 5 seeds: 0,110 ± 0,003.

  • Пространственный тест (6 154 869 строк, 76 суперблоков): RMSE 0,0523 / 0,0578 / 0,0619; выигрыш над ridge 0,180 [0,169; 0,192]. Он проще временного: те же годы есть в обучении.

  • Абляция (выигрыш над нормой, временной тест): осадки 0,055 → +LST 0,167 → +снег 0,181 → +GLDAS 0,188.

  • Важнейшие признаки: lst_day_m, lst_day_prev, precip_3m, lst_night_m, soil_m.

  • Правило выпуска пройдено → выпущен XGBoost.

  • Интервалы P10–P90 (сплит-конформал): покрытие на 2020–2025 74% вместо 80% — интервалы узковаты (записано в карточке).

8. Методическая ловушка и исправление (20:00)

  • Прогнозы вне выборки считаются по 5 блокам лет; у каждого блока норма своя (по остальным 20 годам). Если считать тренд остатков от этих норм, реальный тренд искусственно растёт (до ~25%).
  • Исправление (scripts/40_products.py): остаток = наблюдение − (норма по всем годам + погодный эффект из модели, не видевшей этот блок).

9. Продукты (20:05)

  • Тренды «сверх погоды» (Sen + Mann–Kendall Хамеда–Рао из общего trend.py бэкенда, BH q < 0,05): рост 11,7%, спад 1,2%, ненадёжно 87,1% ячеек.
  • Плацебо (200 перестановок лет): p < 0,05 у 24,2% ячеек против 4,6% в плацебо; после BH 8,6% против 0%.
  • Aqua vs Terra по блокам (2003–2025): знак тренда совпадает в 90%; из 86 значимых по Terra блоков тот же класс у Aqua в 53%.

10. Упаковка и проверка (20:10)

  • scripts/45_package.py: predict.py (CPU, numpy/pandas/xgboost), 100 эталонных строк; расхождение с обученной моделью 0.
  • Проверка сценариев (июль, 2 000 ячеек): осадки −30% → −0,018; +30% → −0,005 (влажнее — не зеленее, записано как ограничение); LST днём +2 °C → −0,019; −2 °C → +0,011.

11. Публикация (20:15–20:40)

  • Первая заливка упала с 403: у fine-grained токена было право записи только в личный аккаунт → пользователь добавил право записи в организацию TrendeX90.
  • TrendeX90/naryn-cube (612 МБ куб + 149 МБ продукты) и TrendeX90/expected-greenness (тег v1). Проверено с другого компьютера в чистом окружении (scripts/60_verify_hf.py): эталонный тест PASS.
  • Сценарии для статического сайта (scripts/55_scenarios.py): 519 блоков, 5 районов, область; products/scenarios/what_if.json — через pull request.
  • Машина удалена после проверки. Стоимость v1: ~$1,11 (аренда + трафик).

Модель v2-ca: Центральная Азия (идёт)

12. Постановка и бюджет (14.11, ~22:40)

  • Запрос: KAZ, KGZ, TJK, TKM, UZB, сетка 1 км, и модель, и карта. Нарын остаётся пилотом.
  • Бюджет: остаток на Vast ($3,68), больше денег не будет → всё рассчитано на него.

13. Инфраструктура (22:55)

  • Машина 60671708: RTX 4070 Ti Super (16 ГБ), 44 ядра, 252 ГБ ОЗУ, 250 ГБ диска, $0,469/ч с диском, Квебек.

14. Область и данные (22:55–23:25)

  • ca/05_aoi_ca.py: geoBoundaries ADM0/ADM1 пяти стран: 3 972 408 км², 47 регионов ADM1.
  • ca/10_download_ca.py: MOD13A3 только апрель–октябрь (2 548 из 4 354 файлов в рамке), MCD12Q1 2020 (14 тайлов), NASADEM 30 м (547 тайлов, касающихся стран), IMERG (304), GLDAS (312). MODIS LST/снег для всей Азии не качались (~170 ГБ) — их заменяют GLDAS.
  • Трафик заметно влияет на бюджет: ~62 ГБ скачивания ≈ $0,40.

15. Куб (23:26–23:36)

  • ca/20_build_cube_ca.py: сетка 2 449 × 3 545, 4 622 790 ячеек; принадлежность к странам/регионам растеризацией.
  • Первая попытка упала на Window.round_offsets() (другой API в rasterio 1.4) → окно тайла рельефа считается напрямую по координатам.
  • Время: покров 20 с, рельеф 547 тайлов ~50 с, NDVI 182 месяца ~30 с, запись 26 лет ~1 мин; погода (IMERG + GLDAS) интерполирована за 76 с, полная таблица записана за ~3,5 мин.
  • Маска (mask_reason): пастбищ-кандидатов 3 432 538; пустыня 733 568, пашня 238 653, вода 122 927, круто 39 549, застройка 22 779, лёд 21 415, лес 11 361.
  • Месячная таблица (апрель–октябрь): cell_id, month, ndvi, ndvi_rel, ndvi_ok, precip, precip_winter, tair, soil_moist, swe; 32,4 млн строк в год; 19 ГБ.

16. Формула бэкенда (23:32 →)

  • Запущена на машине на замороженном снимке куба (жёсткие ссылки), чтобы погодная стадия могла подменить файлы. Перезапущена на коммите бэкенда bcfc212 (ограниченная память, без полного перебора по зонам). Снимок без погоды → слоя осадков в формуле нет.

17. Протокол v2-ca (коммит aadd606, до обучения)

  • configs/model_v2_ca.yaml. Отличия от v1: GLDAS tair/swe вместо MODIS LST/снега; precip_2m вместо precip_3m (куб хранит апрель–октябрь); зимние осадки октябрь–март; добавлены lat (35–55° с.ш.: длина дня/сезона) и crop_frac; обучение на случайной выборке 150 000 ячеек; бюджет подбора 20 попыток / 10 мин; 3 seeds. Правило выпуска то же.

18. Обучение v2-ca (коммит 1bc6ed3, старт 23:37)

  • Загружено 25 лет; 3 432 538 пастбищных ячеек, выборка 150 000.

  • Подбор (23:45): 20 попыток, RMSE на проверочных годах XGBoost 0,0519 против ridge 0,0524 (запас заметно меньше, чем в Нарыне), 189 деревьев.

  • Временной тест (23:46): выигрыш над ridge 0,055 [0,036; 0,077], 6 лет.

  • Пространственный тест (23:49): выигрыш над ridge 0,120 [0,117; 0,123], 4 115 суперблоков.

  • Правило выпуска пройдено → выпущен XGBoost. Выигрыш в ЦА примерно вдвое меньше нарынского; вероятная причина — более грубая погода (GLDAS вместо MODIS LST/снега). Это гипотеза, не проверялась.

  • Прогнозы вне выборки по 5 блокам лет для всех 3 432 538 ячеек: ~1,5 мин на блок; обучение закончено в 23:56.

  • Пастбищные ячейки по странам: KAZ 2 757 030, UZB 225 373, TKM 219 350, KGZ 162 550, TJK 68 235.

  • Полные метрики (runs/v2_ca/metrics.json):

    Тест RMSE xgb RMSE ridge RMSE норма корр. xgb корр. ridge терцили xgb
    Временной (4 488 859 строк) 0,0530 0,0546 0,0613 0,510 0,468 0,544
    Пространственный (18 704 206) 0,0483 0,0515 0,0592 0,578 0,493 0,569

    Выигрыш над нормой: временной 0,251 [0,174; 0,322] (у ridge 0,207), пространственный 0,333 [0,328; 0,339]. 3 seeds: 0,053 ± 0,001 к ridge. Покрытие P10–P90 на 2020–2025: 76,5% (номинал 80%).

  • Подбор: глубина 4, learning_rate 0,101, 189 деревьев; alpha у ridge = 10 000 — граница сетки (возможно, ridge с большей регуляризацией был бы чуть лучше; на правило выпуска это не влияет, пока выигрыш XGBoost положителен).

  • Важнейшие признаки: precip_2m, precip_winter, soil_m, precip_m, tair_prev, clim_ndvi, swe_apr, lat. В ЦА главное — осадки, в Нарыне — температура поверхности (наблюдение; объяснение «засушливые степи ограничены водой, горы — теплом» — гипотеза).

21. Продукты v2-ca (15.11, 00:00–00:04)

  • ca/40_products_ca.py, автоматически после обучения (ca/after_train.sh).
  • Тренды «сверх погоды» по 3 432 538 ячейкам (Хамед–Рао, BH q < 0,05): спад 10,1%, рост 3,8%, ненадёжно 86,1%, мало данных 0,05%. В Нарыне соотношение было обратным (рост 11,7%, спад 1,2%) — наблюдение, без причин.
  • Плацебо (200 000 случайных ячеек, 200 перестановок, исходный MK): p < 0,05 у 26,1% против 4,6% в плацебо; после BH 9,5% против 0%.
  • Сводки по блокам, регионам ADM1 и странам: residual_trend_{block,region,country}.parquet; сезон относительно погоды по блокам; expected_block.parquet (блок × год × месяц).

22. Упаковка v2-ca (00:04 →)

  • Эталонный тест: 100 реальных строк 2024 года, пересобранных из куба кодом обучения; predict_ca.py совпадает с обученной моделью (расхождение 0).

  • Первая попытка упала на выборке ячеек для сценариев: groupby().apply в новой pandas не возвращает колонку группировки → выборка до 2 000 ячеек на регион через перемешивание и cumcount.

  • Упаковка закончена (~00:25): predict_ca.py, эталон, карточка модели; сценарии «что если» по странам и регионам (до 2 000 ячеек на регион), 78 кБ. Июль, вся ЦА: обычный NDVI 0,299; осадки −30% → −0,020; +2 °C → −0,006.

  • Залито: TrendeX90/expected-greenness-ca (тег v2-ca), продукты в ca-cube/products/.

  • Проверка с другого компьютера (ca/60_verify_ca.py, чистое окружение): эталон PASS (расхождение 0), в ca-cube 26 лет месячных данных, 9 файлов продуктов, 54 файла формулы, synthetic=false, partial=false.

23. Исправление маски горных пастбищ (00:15 →)

  • Отзыв пользователя: карта ЦА (ячейки 20 км) слишком грубая, Кыргызстан выглядит неполным. Причина: класс MCD12Q1 16 (голая земля) исключался целиком, вместе с разреженными высокогорными пастбищами.
  • Новое правило бэкенда (коммит 6be6417): голая земля исключается, только если elev_mean < 1500 м ИЛИ green < 0,10 (медиана по годам среднего NDVI за май–сентябрь). Возвращает ~42 тыс. ячеек (TJK ~26k, KGZ ~13k, KAZ ~2,4k, UZB ~0,7k). Слои карты — 1 км.
  • Формула перезапущена на машине на полном кубе (с погодой → появится слой осадков).
  • Модель: для возвращённых ячеек (status == "pasture" в новом artifacts_ca/cells.parquet минус уже покрытые) выпущенная модель считает ожидание и остатки (ca/42_extend_mask.py). Эти ячейки не входили в обучающую выборку, так что прогноз для них — вне выборки по пространству, но не по блокам лет; в продуктах помечены source = production_model_unseen_cell.

24. Итог расширения маски (00:40–00:48)

  • Формула с новым правилом (бэкенд 6be6417) досчитана за 21 мин на полном кубе и залита в порядке: fe/ → layers/ (1 км) → cells.parquet + S.npy → export_ca/v1 → остальное. Бэкенд принял: в Кыргызстане 414 пастбищных ячеек сетки сайта из 500 (было 388).
  • По новой маске пастбищ 3 467 812 ячеек; модель покрывала 3 428 742; добавлено 39 070 (TJK 22 696, KGZ 10 412, KAZ 5 138, UZB 720, TKM 104; из них 35 322 были «голой землёй», 3 748 моя маска считала водой).
  • 3 796 ячеек, покрытых моделью, у бэкенда не пастбища — остаются в продуктах, сайт фильтрует по своему status.
  • Продукты пересчитаны на 3 471 608 ячейках: спад 9,95%, рост 3,85%, ненадёжно 86,1%. Плацебо: q < 0,05 у 8,8% против 0%.
  • По странам (спад / рост): KAZ 11,5% / 2,4%; KGZ 4,6% / 8,7%; TJK 5,2% / 5,7%; TKM 1,6% / 11,7%; UZB 5,2% / 9,8%. Спад в целом по ЦА в основном даёт Казахстан (наблюдение; причины модель не называет).
  • Остаток на Vast в 00:45: $2,26.

20. Формула и куб на HF (23:50–23:52)

  • Формула бэкенда (core_ca.yaml, bcfc212) досчитана за ~17 мин и залита: ca-cube/formula/export/ca/v1/fe, formula/export_ca/v1, formula/artifacts_ca (без npy/npz).
  • Полный куб (cells.parquet 165 МБ + monthly 19 ГБ) залит в TrendeX90/ca-cube.
  • Остаток на Vast в 23:52: $2,68.

19. Страховка от потери машины (23:44)

  • ca/backup_loop.py на машине: каждые 10 минут логи, скрипты, протокол и готовые результаты (runs/v2_ca: метрики, модель, продукты, пакет) зеркалятся в TrendeX90/ca-cube/_backup/. Неизменённые файлы повторно не грузятся.
  • Куб заливается в TrendeX90/ca-cube (первая попытка упала: в версии huggingface_hub на машине нет upload_large_folder → обычный upload_folder).
  • Запрос пользователя: выбор любой страны ЦА на карте. Данные это поддерживают (country, region у каждой ячейки; продукты и сценарии по странам и регионам); переключатель на сайте делает сессия бэкенда — запрос ей передан.