sunstar-plus / README.md
summerAIO's picture
Update README.md
0fb4a2e verified
|
Raw History Blame Contribute Delete
13.3 kB
---
language: ja
library_name: lightgbm
tags: [weather, downscaling, nowcasting, lightgbm, amedas, era5, japan]
---
# Sun*+ — 全国版 気象ダウンスケーリング & 短期予報 (LightGBM)
## 気象情報の法律を遵守してください
- 下調べをしてから個人的に使用してください
Sun*+ は [Sun* V2](https://huggingface.co/summerAIO/sunstar-v2)(岡山県のみ)を **日本全国のアメダス 1,285 地点** に拡張した後継モデルです。
ERA5 (0.25°) などの格子ガイダンスを **地点 (アメダス) の実測へ補正** し、さらに初期時刻までの観測と近傍局から **リード 1/3/6/12/24 時間** の予測を行います。
気温・風 (u/v/風速)・相対湿度・降水量の 6 変数、σ (予測のばらつき; 気温/風u/風v/湿度) も出力できます。
> **状態**: テスト評価完了(2026-01-01〜2026-10-31 UTC)。このリポジトリは非公開です。ライセンス表記は公開前に決定します。
## 何が V2 から変わったか
| | Sun* V2 | **Sun\*+** |
|---|---|---|
| 学習地点 | 岡山 22 地点 | **全国 1,285 地点 (うち評価用に 113 地点 + 岡山3地点を学習から除外)** |
| 特徴量 | 123 (ERA5 + 地形等) | V2 の 123 を完全に含み +15 (緯度経度・地方・周辺海陸比 20/50/150 km・DEM−地点標高差・沿岸×日射/風・谷/冷気溜まり指標など) |
| 観測同化 | AMeDAS 観測特徴 | 同左 + **近傍局の残差特徴 (14, 25%はドロップアウト)** |
| 学習データ | 岡山のみ | **2,233,500 行 (2023-01〜2025-12 のサンプル)**, 検証 = 2025-07〜12 |
| 降水 | — | Tweedie (p=1.3) で mm/h を直接回帰 |
## 評価プロトコル (V2 と同一)
- テスト期間 **2026-01-01〜2026-10-31 (UTC)**, アメダス時別実測。学習は 2025-12-31 まで。
- **全国 (主)**: 学習地点の層化サンプル 160 + **学習・チューニングに一切使っていない全国 held-out 113 地点** (岡山以外の全地方から層化抽出)。
- **V2 も同じ全国地点・同じ特徴行列で評価** (公開済み V2 モデルを全国パイプラインに適用; V2 は岡山でしか学習していない)。
- **岡山 (副)**: V2 公式評価 (学習 22 地点 / 未学習 3 地点: 新見・和気・玉野) と同一地点・同一期間。
- ガイダンスは ERA5 **再解析** (完全予報)。実運用の NWP 予報では誤差が増えるため **絶対精度は楽観的** です。
## 結果 (RMSE, 小さいほど良い) — 詳細は `COMPARISON.md`
### 全国・全評価地点 (273) — 主
| 変数 | リード[h] | n | ERA5補間 | V2 | **Sun*+** | 改善率 |
|---|---|---|---|---|---|---|
| 気温 [°C] | 0 | 1,361,435 | 1.827 | 1.701 | **1.139** | +33.1% |
| 風速 [m/s] | 0 | 1,345,518 | 2.023 | 1.553 | **1.180** | +24.0% |
| 風 u [m/s] | 0 | 1,345,518 | 2.059 | 1.581 | **1.303** | +17.6% |
| 風 v [m/s] | 0 | 1,345,518 | 2.036 | 1.735 | **1.365** | +21.3% |
| 相対湿度 [%] | 0 | 1,178,693 | 10.596 | 10.219 | **8.085** | +20.9% |
| 降水量 [mm/h] | 0 | 1,987,282 | 1.045 | 1.013 | **0.972** | +4.0% |
| 気温 [°C] | 1 | 1,361,092 | 1.827 | 0.972 | **0.696** | +28.3% |
| 風速 [m/s] | 1 | 1,331,365 | 2.028 | 1.182 | **0.865** | +26.8% |
| 風 u [m/s] | 1 | 1,331,365 | 2.065 | 1.301 | **1.022** | +21.4% |
| 風 v [m/s] | 1 | 1,331,365 | 2.042 | 1.381 | **1.043** | +24.5% |
| 相対湿度 [%] | 1 | 1,178,370 | 10.596 | 5.998 | **4.715** | +21.4% |
| 降水量 [mm/h] | 1 | 1,986,944 | 1.045 | 0.971 | **0.884** | +9.0% |
| 気温 [°C] | 6 | 1,360,674 | 1.827 | 1.373 | **1.047** | +23.8% |
| 風速 [m/s] | 6 | 1,329,416 | 2.028 | 1.385 | **1.083** | +21.8% |
| 風 u [m/s] | 6 | 1,329,416 | 2.064 | 1.493 | **1.256** | +15.9% |
| 風 v [m/s] | 6 | 1,329,416 | 2.040 | 1.627 | **1.294** | +20.5% |
| 相対湿度 [%] | 6 | 1,177,966 | 10.595 | 8.539 | **7.120** | +16.6% |
| 降水量 [mm/h] | 6 | 1,986,414 | 1.045 | 1.009 | **0.972** | +3.6% |
| 気温 [°C] | 24 | 1,360,546 | 1.827 | 1.434 | **1.106** | +22.8% |
| 風速 [m/s] | 24 | 1,329,457 | 2.025 | 1.423 | **1.134** | +20.3% |
| 風 u [m/s] | 24 | 1,329,457 | 2.063 | 1.520 | **1.296** | +14.7% |
| 風 v [m/s] | 24 | 1,329,457 | 2.039 | 1.656 | **1.341** | +19.1% |
| 相対湿度 [%] | 24 | 1,177,783 | 10.596 | 8.930 | **7.601** | +14.9% |
| 降水量 [mm/h] | 24 | 1,986,066 | 1.045 | 1.012 | **0.975** | +3.7% |
### 全国・held-out 地点のみ (113; 空間汎化)
| 変数 | リード[h] | n | ERA5補間 | V2 | **Sun*+** | 改善率 |
|---|---|---|---|---|---|---|
| 気温 [°C] | 0 | 560,824 | 1.816 | 1.708 | **1.252** | +26.7% |
| 風速 [m/s] | 0 | 554,100 | 1.926 | 1.551 | **1.382** | +10.9% |
| 風 u [m/s] | 0 | 554,100 | 2.036 | 1.551 | **1.452** | +6.4% |
| 風 v [m/s] | 0 | 554,100 | 1.957 | 1.784 | **1.583** | +11.2% |
| 相対湿度 [%] | 0 | 502,023 | 10.427 | 10.284 | **8.546** | +16.9% |
| 降水量 [mm/h] | 0 | 822,965 | 1.067 | 1.035 | **0.994** | +4.0% |
| 気温 [°C] | 1 | 560,688 | 1.816 | 0.953 | **0.720** | +24.4% |
| 風速 [m/s] | 1 | 548,211 | 1.931 | 1.178 | **0.902** | +23.4% |
| 風 u [m/s] | 1 | 548,211 | 2.042 | 1.274 | **1.048** | +17.7% |
| 風 v [m/s] | 1 | 548,211 | 1.962 | 1.409 | **1.095** | +22.3% |
| 相対湿度 [%] | 1 | 501,888 | 10.427 | 5.914 | **4.660** | +21.2% |
| 降水量 [mm/h] | 1 | 822,829 | 1.067 | 0.993 | **0.907** | +8.7% |
| 気温 [°C] | 6 | 560,531 | 1.816 | 1.352 | **1.086** | +19.6% |
| 風速 [m/s] | 6 | 547,460 | 1.931 | 1.381 | **1.157** | +16.2% |
| 風 u [m/s] | 6 | 547,460 | 2.040 | 1.459 | **1.314** | +10.0% |
| 風 v [m/s] | 6 | 547,460 | 1.961 | 1.663 | **1.398** | +16.0% |
| 相対湿度 [%] | 6 | 501,713 | 10.426 | 8.477 | **7.154** | +15.6% |
| 降水量 [mm/h] | 6 | 822,625 | 1.067 | 1.031 | **0.995** | +3.5% |
| 気温 [°C] | 24 | 560,492 | 1.815 | 1.411 | **1.145** | +18.9% |
| 風速 [m/s] | 24 | 547,461 | 1.929 | 1.415 | **1.218** | +13.9% |
| 風 u [m/s] | 24 | 547,461 | 2.039 | 1.483 | **1.358** | +8.4% |
| 風 v [m/s] | 24 | 547,461 | 1.960 | 1.697 | **1.456** | +14.2% |
| 相対湿度 [%] | 24 | 501,620 | 10.427 | 8.876 | **7.636** | +14.0% |
| 降水量 [mm/h] | 24 | 822,544 | 1.067 | 1.035 | **0.997** | +3.7% |
### 勝敗 (RMSE; 変数×リード)
| 地点群 | Sun*+ が良い / 全指標 |
|---|---|
| 全国 全評価地点 | 36 / 36 |
| 全国 held-out | 36 / 36 |
| 全国 学習地点サンプル | 36 / 36 |
| 岡山 学習22地点 (V2 公式値と比較) | 18 / 36 |
| 岡山 未学習3地点 (V2 公式値と比較) | 34 / 36 |
### 岡山 V2 プロトコル (副) — 学習 22 地点 (V2 は公式評価値)
| 変数 | リード[h] | n | ERA5補間 | V2 | **Sun*+** | 改善率 |
|---|---|---|---|---|---|---|
| 気温 [°C] | 0 | 94,701 | 1.484 | 0.845 | **0.836** | +1.0% |
| 風速 [m/s] | 0 | 93,047 | 1.591 | 0.699 | **0.705** | -0.8% |
| 風 u [m/s] | 0 | 93,047 | 1.648 | 0.873 | **0.876** | -0.4% |
| 風 v [m/s] | 0 | 93,047 | 1.704 | 0.950 | **0.954** | -0.5% |
| 相対湿度 [%] | 0 | 87,296 | 10.038 | 5.856 | **5.745** | +1.9% |
| 降水量 [mm/h] | 0 | 160,320 | 0.790 | 0.720 | **0.718** | +0.3% |
| 気温 [°C] | 1 | 94,683 | 1.484 | 0.614 | **0.586** | +4.7% |
| 風速 [m/s] | 1 | 91,686 | 1.594 | 0.650 | **0.646** | +0.7% |
| 風 u [m/s] | 1 | 91,686 | 1.652 | 0.822 | **0.816** | +0.7% |
| 風 v [m/s] | 1 | 91,686 | 1.708 | 0.889 | **0.883** | +0.7% |
| 相対湿度 [%] | 1 | 87,267 | 10.038 | 4.105 | **3.833** | +6.6% |
| 降水量 [mm/h] | 1 | 160,313 | 0.790 | 0.696 | **0.666** | +4.3% |
| 気温 [°C] | 6 | 94,658 | 1.484 | 0.813 | **0.816** | -0.4% |
| 風速 [m/s] | 6 | 91,478 | 1.593 | 0.704 | **0.715** | -1.5% |
| 風 u [m/s] | 6 | 91,478 | 1.649 | 0.880 | **0.890** | -1.1% |
| 風 v [m/s] | 6 | 91,478 | 1.707 | 0.962 | **0.973** | -1.2% |
| 相対湿度 [%] | 6 | 87,220 | 10.038 | 5.543 | **5.464** | +1.4% |
| 降水量 [mm/h] | 6 | 160,304 | 0.790 | 0.721 | **0.718** | +0.4% |
| 気温 [°C] | 24 | 94,658 | 1.484 | 0.856 | **0.865** | -1.1% |
| 風速 [m/s] | 24 | 91,505 | 1.590 | 0.712 | **0.724** | -1.7% |
| 風 u [m/s] | 24 | 91,505 | 1.649 | 0.889 | **0.901** | -1.4% |
| 風 v [m/s] | 24 | 91,505 | 1.704 | 0.970 | **0.984** | -1.4% |
| 相対湿度 [%] | 24 | 87,200 | 10.040 | 5.823 | **5.780** | +0.7% |
| 降水量 [mm/h] | 24 | 160,304 | 0.790 | 0.721 | **0.719** | +0.4% |
### 岡山 V2 プロトコル (副) — 未学習 3 地点 (新見・和気・玉野)
| 変数 | リード[h] | n | ERA5補間 | V2 | **Sun*+** | 改善率 |
|---|---|---|---|---|---|---|
| 気温 [°C] | 0 | 21,853 | 1.598 | 1.334 | **1.133** | +15.0% |
| 風速 [m/s] | 0 | 21,647 | 1.841 | 0.942 | **1.020** | -8.3% |
| 風 u [m/s] | 0 | 21,647 | 1.873 | 1.152 | **1.146** | +0.5% |
| 風 v [m/s] | 0 | 21,647 | 1.758 | 1.068 | **1.016** | +4.9% |
| 相対湿度 [%] | 0 | 21,853 | 9.837 | 7.934 | **7.292** | +8.1% |
| 降水量 [mm/h] | 0 | 21,859 | 0.664 | 0.613 | **0.608** | +0.8% |
| 気温 [°C] | 1 | 21,848 | 1.598 | 0.792 | **0.664** | +16.2% |
| 風速 [m/s] | 1 | 21,446 | 1.845 | 0.803 | **0.743** | +7.5% |
| 風 u [m/s] | 1 | 21,446 | 1.877 | 1.002 | **0.930** | +7.2% |
| 風 v [m/s] | 1 | 21,446 | 1.762 | 0.923 | **0.849** | +7.9% |
| 相対湿度 [%] | 1 | 21,848 | 9.837 | 4.760 | **4.224** | +11.3% |
| 降水量 [mm/h] | 1 | 21,857 | 0.664 | 0.582 | **0.551** | +5.4% |
| 気温 [°C] | 6 | 21,842 | 1.598 | 1.112 | **0.968** | +13.0% |
| 風速 [m/s] | 6 | 21,435 | 1.846 | 0.910 | **0.894** | +1.7% |
| 風 u [m/s] | 6 | 21,435 | 1.876 | 1.118 | **1.094** | +2.2% |
| 風 v [m/s] | 6 | 21,435 | 1.761 | 1.021 | **0.967** | +5.3% |
| 相対湿度 [%] | 6 | 21,842 | 9.838 | 6.878 | **6.371** | +7.4% |
| 降水量 [mm/h] | 6 | 21,854 | 0.664 | 0.615 | **0.609** | +0.9% |
| 気温 [°C] | 24 | 21,842 | 1.598 | 1.133 | **1.012** | +10.7% |
| 風速 [m/s] | 24 | 21,441 | 1.844 | 0.935 | **0.917** | +1.9% |
| 風 u [m/s] | 24 | 21,441 | 1.878 | 1.126 | **1.107** | +1.6% |
| 風 v [m/s] | 24 | 21,441 | 1.760 | 1.030 | **0.978** | +5.0% |
| 相対湿度 [%] | 24 | 21,842 | 9.838 | 7.214 | **6.817** | +5.5% |
| 降水量 [mm/h] | 24 | 21,854 | 0.664 | 0.612 | **0.612** | -0.0% |
## 使い方
```bash
pip install -r requirements.txt
python infer_example.py --station 0658 --start 2026-10-01 --end 2026-10-03 # 新見; ARCO-ERA5 を自動取得 (数分)
```
```python
from sunstar_plus import SunstarPlus, era5io
import pandas as pd
st = pd.read_csv("data/stations_nationwide.csv", dtype={"block_no": str})
times, fields, grid = era5io.fetch_arco("2026-10-01", "2026-10-04") # 前後24h余白込み
m = SunstarPlus(".")
pred = m.downscale(times, fields, grid, st[st.block_no == "0658"].reset_index(drop=True)) # {var: (mean, sigma)}
# 観測あり予報: m.forecast(times, fields, grid, stations, obs, lead=6) # obs: (T,S,7) アメダス実測
```
- `ERA5` 以外のガイダンス (NWP 等) を使う場合は ERA5 互換の変数・単位 (tp=mm/h, 気温 °C 等; `sunstar_plus/features.py` 参照) に揃えてください。**学習は ERA5 のみ**なので、NWP への適用は未検証です。
- `selftest.py`: 本パッケージの予測が評価パイプラインの予測と一致することを確認する検証 (リード0, 最大差 ~1e-6)。
## 学習・データ
- 観測: 気象庁「過去の気象データ」(obsdl) のアメダス時別値 2023-01〜2026-10 (気温・風向風速→u/v・相対湿度・降水量)。**出典: 気象庁**。
- ガイダンス: ARCO-ERA5 (Copernicus / ECMWF ERA5 再解析) 日本域。地形: AWS Terrain Tiles (Terrarium) z12, ESA WorldCover, global-land-mask。
- モデル: 変数ごとの LightGBM 残差モデル (ERA5 双線形補間に対する残差; 降水・風速は直接回帰), lr 0.06, 127 leaves。(1) 〜2025-06 で学習し 2025-07〜12 で早期終了 (3000 ラウンド上限; 気温・風・湿度は上限に達し未収束 → さらに改善余地あり) → (2) 〜2025-12 の全期間で 1.15×最適ラウンドで再学習した **2 シード平均** が公開モデル。
- Task A (リード0, 観測なし) と Task B (観測同化, リードを特徴量として 1/3/6/12/24 を共通モデル化)。
- σ: |誤差| を LightGBM で予測し係数 k を CRPS で較正 (2025-07〜12)。未学習地点向けに検証期間の held-out/学習地点 RMSE 比で拡大 (`heldout=True`)。σ は 降水・風速には未提供。
## 制約・注意
- ERA5 再解析 = 完全予報。実 NWP 予報では劣化する。リード 1〜24h の「予報」は、ERA5 が未来の天気を知っている設定で、観測同化の効果を測るもの。
- V2 は岡山専用のため、全国評価では不利 (領域外)。**公平な比較は岡山プロトコル (副)** を参照。岡山では V2 が優る指標が残る場合がある (上表)。
- 岡山の V2 公式値は V2 自身のパイプライン (V2 版地形特徴) で算出。Sun*+ は全国版地形特徴を使うため、同じ V2 モデルでも本パイプラインで評価すると僅かに悪化する (地形特徴の差)。
- 地点は 1,285 (南鳥島を除く)。観測欠測・品質 (8/5/4 のみ採用) による欠損がある。
- 降水の RMSE 改善は小さい (降水は元々予測困難; 確率的な量)。