Add model card with full HBB/OBB results and usage

README.md

@@ -0,0 +1,116 @@
+---
+license: cc-by-nc-4.0
+base_model: Qwen/Qwen3-VL-4B-Instruct
+pipeline_tag: image-text-to-text
+library_name: transformers
+language:
+  - en
+tags:
+  - remote-sensing
+  - visual-grounding
+  - oriented-bounding-box
+  - reinforcement-learning
+  - qwen3-vl
+---
+
+# GeoBox-R1
+
+统一边界框级遥感视觉定位模型，同时输出水平框（HBB）与旋转框（OBB）。
+
+> **GeoBox-R1: Curriculum-Guided SFT and Geometric RL for Unified Box-Level Remote Sensing Visual Grounding**
+> Chenxi Lan\*, Yuchen Wu\*, Minghang Zhou, Tianyu Li, Zhihao Qiu, Guoqing Wang
+> AAAI 2027 投稿中。（\* 共同一作）
+>
+> [项目主页](https://yuchenwu73.github.io/GeoBox-R1/) ·
+> [代码](https://github.com/yuchenwu73/GeoBox-R1) ·
+> [训练数据](https://huggingface.co/datasets/yuchenwu73/GeoBox-R1-Data) ·
+> [Stage-1 SFT 检查点](https://huggingface.co/yuchenwu73/GeoBox-R1-SFT)
+
+本仓库是**最终模型**（Stage-1 SFT + Stage-2 GDPO 后的合并权重）。
+只需要第一阶段结果请用 [`GeoBox-R1-SFT`](https://huggingface.co/yuchenwu73/GeoBox-R1-SFT)。
+
+## 训练流程
+
+基座 **Qwen3-VL-4B-Instruct**，两阶段：
+
+1. **课程式 SFT** — 训练数据按 HBB → OBB → HBB-to-OBB CoT 由易到难排列。
+   LoRA（rank 16，alpha 32），冻结视觉编码器与 merger，lr `1e-4`，1 epoch，2× RTX 4090。
+2. **几何强化学习（GDPO）** — 在 SFT 检查点上用两个基于规则的几何奖励细化 OBB：
+   Rotated IoU 与自适应 Wasserstein 距离（λ 各 0.5）。
+   G=8 rollouts，β=0.02，τ_c=8，lr `5e-6`，1 epoch，3× A100 40G（1 个 vLLM rollout 服务 + 2 个 GDPO worker）。
+
+## 结果
+
+7 个 HBB 与 3 个 OBB 评测集，三项指标的宏平均均取得最佳。
+
+### HBB（7 个评测集）
+
+| Model | Params | DIOR-Test | DIOR-Val | RSVG-Test | RSVG-Val | GeoChat* | VRSBench* | AVVG | **Avg.** |
+| --- | --- | --- | --- | --- | --- | --- | --- | --- | --- |
+| Qwen3-VL | 8B | 54.14 | 53.68 | 33.82 | 34.80 | 50.73 | 53.55 | 25.22 | 43.70 |
+| GeoGround | 7B | **77.70** | **77.13** | 26.65 | 27.81 | **69.76** | 65.76 | 21.60 | 52.35 |
+| InternVL3 (SFT) | 8B | 74.83 | 75.06 | 46.05 | 44.05 | 59.23 | 58.05 | 28.41 | 55.10 |
+| GeoBox-R1 (SFT) | 4B | 74.91 | 74.21 | 48.57 | 46.29 | 61.39 | 64.45 | 30.33 | 57.17 |
+| **GeoBox-R1** | **4B** | 76.61 | 75.11 | **51.26** | **48.38** | 61.13 | **66.84** | **32.14** | **58.78** |
+
+（Acc@0.5。Acc@0.7 与 mIoU 的宏平均分别为 **42.22** 与 **50.39**，同样最佳。）
+
+### OBB（3 个评测集）
+
+| Model | Params | GeoChat* @0.5 / @0.7 / mRIoU | VRSBench* | AVVG | **Avg.** |
+| --- | --- | --- | --- | --- | --- |
+| InternVL3 (SFT) | 8B | 49.79 / 23.10 / 41.66 | 42.01 / 20.65 / 40.68 | 15.43 / 7.40 / 15.39 | 35.74 / 17.05 / 32.58 |
+| GeoGround | 7B | 58.72 / 25.49 / 46.89 | 53.26 / 29.82 / 48.35 | 13.89 / 4.10 / 15.64 | 41.96 / 19.81 / 36.96 |
+| GeoBox-R1 (SFT) | 4B | 55.96 / 30.45 / 45.45 | 51.14 / 27.69 / 45.91 | 22.23 / 15.07 / 19.20 | 43.11 / 24.40 / 36.85 |
+| **GeoBox-R1** | **4B** | **60.56 / 35.19 / 48.92** | **56.61 / 30.55 / 49.43** | **24.79 / 16.89 / 21.18** | **47.32 / 27.55 / 39.85** |
+
+以 4B 参数超过 7B–8B 的现有最优模型：HBB 领先 **3.68/4.89/2.61** 点，OBB 领先 **5.36/7.74/2.89** 点，
+在更严格的 Acc@0.7 上增益最大。
+
+**OBB-only RL 不牺牲 HBB**：GDPO 只用 OBB 样本训练，HBB 宏平均反而从 57.17/40.33/48.82 升到
+58.78/42.22/50.39 —— Acc@0.5 在 7 个集合中的 6 个上升，Acc@0.7 与 mIoU 全部 7 个上升。
+
+## 使用
+
+模型使用 HBB / OBB 两种提示词，输出 JSON 格式的框坐标。
+
+```python
+from transformers import AutoModelForImageTextToText, AutoProcessor
+from PIL import Image
+
+model_id = "yuchenwu73/GeoBox-R1"
+model = AutoModelForImageTextToText.from_pretrained(model_id, dtype="auto", device_map="auto")
+processor = AutoProcessor.from_pretrained(model_id)
+
+image = Image.open("scene.png")
+expression = "the brown suv on the right"
+
+# 旋转框（OBB）
+prompt = (f"Locate the instance that matches the description: [{expression}]. "
+          "Report oriented bbox coordinates in following JSON format:\n"
+          "```json\n[\n\t{\"oriented_bbox\": [[x1,y1],[x2,y2],[x3,y3],[x4,y4]]}\n]\n```")
+
+messages = [{"role": "user", "content": [{"type": "image"}, {"type": "text", "text": prompt}]}]
+text = processor.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
+inputs = processor(text=[text], images=[image], return_tensors="pt").to(model.device)
+out = model.generate(**inputs, max_new_tokens=256)
+print(processor.decode(out[0][inputs.input_ids.shape[1]:], skip_special_tokens=True))
+```
+
+水平框把提示词换成 `Report horizontal bbox coordinates ...` 与 `{"horizontal_bbox": [x1,y1,x2,y2]}` 即可。
+
+也可用 [ms-swift](https://github.com/modelscope/ms-swift)（训练所用框架）推理与部署。
+
+## 引用
+
+```bibtex
+@inproceedings{geoboxr1,
+  title     = {GeoBox-R1: Curriculum-Guided SFT and Geometric RL for
+               Unified Box-Level Remote Sensing Visual Grounding},
+  author    = {Lan, Chenxi and Wu, Yuchen and Zhou, Minghang and
+               Li, Tianyu and Qiu, Zhihao and Wang, Guoqing},
+  booktitle = {Proceedings of the AAAI Conference on Artificial Intelligence},
+  year      = {2027},
+  note      = {Under review}
+}
+```