mmmmmcyaaa commited on
Commit
23b85ee
·
verified ·
1 Parent(s): 5fef86d

Add Qwen Bridge 29K common-start ENVIRONMENT.md

Browse files
qwen_bridge_common_start_29k/ENVIRONMENT.md ADDED
@@ -0,0 +1,72 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ # Qwen–Bridge 29K Common Start 环境
2
+
3
+ ## 系统与硬件
4
+
5
+ - Ubuntu 22.04
6
+ - Linux kernel 6.8.0-138
7
+ - NVIDIA driver 570.211.01
8
+ - 历史训练硬件:RTX 4090
9
+ - Python 3.11.13
10
+
11
+ ## 核心软件
12
+
13
+ | 包 | 版本 |
14
+ |---|---|
15
+ | PyTorch | 2.7.1+cu126 |
16
+ | CUDA runtime | 12.6 |
17
+ | cuDNN | 9.5.0.1 |
18
+ | torchvision | 0.22.1 |
19
+ | transformers | 4.57.0 |
20
+ | accelerate | 1.13.0 |
21
+ | bitsandbytes | 0.50.0 |
22
+ | deepspeed | 0.19.2(本历史 run 未启用) |
23
+ | flash-attn | 2.7.4.post1 |
24
+ | huggingface-hub | 0.36.2 |
25
+ | omegaconf | 2.3.0 |
26
+ | peft | 0.19.1 |
27
+ | safetensors | 0.5.3 |
28
+ | tokenizers | 0.22.2 |
29
+ | wandb | 0.23.1 |
30
+ | numpy | 1.26.4 |
31
+ | pandas | 2.2.3 |
32
+ | polars | 1.30.0 |
33
+ | datasets | 3.6.0 |
34
+ | lerobot | 0.1.0 |
35
+ | einops | 0.8.1 |
36
+ | timm | 1.0.24 |
37
+ | av | 17.0.0 |
38
+
39
+ ## 外部依赖(不重复上传)
40
+
41
+ - Base VLM:`Qwen3-VL-4B-Instruct`。需单独从官方模型源取得 tokenizer、processor 和基础权重。
42
+ - Bridge/OXE 数据:`bridge_rt_infoflow` 对应的 OXE LeRobot 数据及 statistics。
43
+ - StarVLA/OPTR 源码:使用交接仓库中与本配置匹配的 QwenGR00T、DiT-B action head、dataset 和 trainer 实现。
44
+
45
+ ## 历史训练合同
46
+
47
+ - framework:QwenGR00T。
48
+ - action model:DiT-B,16 layers,dropout 0.2。
49
+ - action/state dim:7/7。
50
+ - action horizon:16。
51
+ - BF16。
52
+ - 单卡训练。
53
+ - per-device batch:2。
54
+ - gradient accumulation:24。
55
+ - global batch:48。
56
+ - optimizer:AdamW8bit,betas=(0.9, 0.95),eps=1e-8,weight decay=1e-8。
57
+ - base LR:3e-5;VLM interface LR:1e-5;action model LR:1e-4。
58
+ - cosine scheduler,minimum LR=5e-7,100K scheduler horizon,10K warmup。
59
+ - gradient clipping:1.0。
60
+ - 日志频率:每 10 updates。
61
+ - 29K checkpoint 训练时全部约 4.599B 参数可训练,`freeze_modules` 为空。
62
+
63
+ ## 恢复要求
64
+
65
+ 必须同时加载:
66
+
67
+ 1. `steps_29000_pytorch_model.pt`;
68
+ 2. `steps_29000_training_state.pt`。
69
+
70
+ 后者包含 optimizer、scheduler、RNG 与 data-order counter。只载入模型权重不是完整 common-start 恢复。
71
+
72
+ 不得新增 implementation/code/path/current-manifest SHA 启动门。启动前只核对文件存在且可加载、step=29000、数据与 support 语义一致、global batch 与训练预算正确。