Whalswp commited on
Commit
b803f56
·
verified ·
1 Parent(s): aabd36c

Kuavo 50 demos: multi_task_dit checkpoint 15K

Browse files
Files changed (17) hide show
  1. 50_demos/multi_task_dit/checkpoints/checkpoint-15K/README.md +8 -0
  2. 50_demos/multi_task_dit/checkpoints/checkpoint-15K/checkpoint_manifest.json +144 -0
  3. 50_demos/multi_task_dit/checkpoints/checkpoint-15K/pretrained_model/config.json +110 -0
  4. 50_demos/multi_task_dit/checkpoints/checkpoint-15K/pretrained_model/model.safetensors +3 -0
  5. 50_demos/multi_task_dit/checkpoints/checkpoint-15K/pretrained_model/policy_postprocessor.json +32 -0
  6. 50_demos/multi_task_dit/checkpoints/checkpoint-15K/pretrained_model/policy_postprocessor_step_0_unnormalizer_processor.safetensors +3 -0
  7. 50_demos/multi_task_dit/checkpoints/checkpoint-15K/pretrained_model/policy_preprocessor.json +83 -0
  8. 50_demos/multi_task_dit/checkpoints/checkpoint-15K/pretrained_model/policy_preprocessor_step_4_normalizer_processor.safetensors +3 -0
  9. 50_demos/multi_task_dit/checkpoints/checkpoint-15K/pretrained_model/train_config.json +249 -0
  10. 50_demos/multi_task_dit/checkpoints/checkpoint-15K/provenance/CONTRACT.md +101 -0
  11. 50_demos/multi_task_dit/checkpoints/checkpoint-15K/provenance/compat.py +66 -0
  12. 50_demos/multi_task_dit/checkpoints/checkpoint-15K/provenance/data_manifest.json +0 -0
  13. 50_demos/multi_task_dit/checkpoints/checkpoint-15K/provenance/effective_train_config.json +211 -0
  14. 50_demos/multi_task_dit/checkpoints/checkpoint-15K/provenance/model_assets.json +9 -0
  15. 50_demos/multi_task_dit/checkpoints/checkpoint-15K/provenance/policy.yaml +32 -0
  16. 50_demos/multi_task_dit/checkpoints/checkpoint-15K/provenance/total.yaml +118 -0
  17. 50_demos/multi_task_dit/checkpoints/checkpoint-15K/provenance/training_step.json +3 -0
50_demos/multi_task_dit/checkpoints/checkpoint-15K/README.md ADDED
@@ -0,0 +1,8 @@
 
 
 
 
 
 
 
 
 
1
+ # multi_task_dit Kuavo 50 demos — 15000 updates
2
+
3
+ Deployable policy checkpoint: current state 20D, action 23D, 10Hz, seed 42, global batch 64.
4
+ The original training_state stays on KT; optimizer/RNG state is not published.
5
+ SmolVLA and Pi0.5 contain LoRA adapters and require their original base model. Use the pinned base/tokenizer revisions in provenance/model_assets.json.
6
+ Load the policy and BOTH processors from pretrained_model/. Apply provenance/compat.py install(policy) for GR00T language processing; GR00T and DiT require letterbox224 camera preprocessing. See provenance/CONTRACT.md for full input/action semantics.
7
+ Adapter base paths are HF repository IDs; no base weights are duplicated here. Fetch the pinned base snapshot before constructing the policy and applying the adapter.
8
+ This is an offline training artifact; no robot rollout validation is implied.
50_demos/multi_task_dit/checkpoints/checkpoint-15K/checkpoint_manifest.json ADDED
@@ -0,0 +1,144 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "schema": 1,
3
+ "policy": "multi_task_dit",
4
+ "step": 15000,
5
+ "repo_id": "RwH-Lab/Kuavo_ckpt",
6
+ "remote_prefix": "50_demos/multi_task_dit/checkpoints/checkpoint-15K",
7
+ "source_checkpoint": "/home/work/mntvol/RwH-Kuavo_ckpt/50_demos/multi_task_dit/checkpoints/015000",
8
+ "production_run": "/home/work/mntvol/RwH-Kuavo_ckpt/50_demos/_runs/full_20261025_235828",
9
+ "source_signature": {
10
+ "pretrained_model/config.json": [
11
+ 2776,
12
+ 1792955555018478206
13
+ ],
14
+ "pretrained_model/model.safetensors": [
15
+ 1110874532,
16
+ 1792955556627304805
17
+ ],
18
+ "pretrained_model/policy_postprocessor.json": [
19
+ 659,
20
+ 1792955526292184636
21
+ ],
22
+ "pretrained_model/policy_postprocessor_step_0_unnormalizer_processor.safetensors": [
23
+ 17412,
24
+ 1792955556713322343
25
+ ],
26
+ "pretrained_model/policy_preprocessor.json": [
27
+ 1802,
28
+ 1792955526270588285
29
+ ],
30
+ "pretrained_model/policy_preprocessor_step_4_normalizer_processor.safetensors": [
31
+ 17412,
32
+ 1792955526266986284
33
+ ],
34
+ "pretrained_model/train_config.json": [
35
+ 7165,
36
+ 1792955556685363741
37
+ ],
38
+ "training_state/optimizer_param_groups.json": [
39
+ 5341,
40
+ 1792955561072050458
41
+ ],
42
+ "training_state/optimizer_state.safetensors": [
43
+ 1716334020,
44
+ 1792955528755374365
45
+ ],
46
+ "training_state/rng_state.safetensors": [
47
+ 15708,
48
+ 1792955526301982905
49
+ ],
50
+ "training_state/scheduler_state.json": [
51
+ 332,
52
+ 1792955561076646217
53
+ ],
54
+ "training_state/training_step.json": [
55
+ 21,
56
+ 1792955556722559800
57
+ ]
58
+ },
59
+ "tensor_count": 765,
60
+ "artifact_kind": "full_policy",
61
+ "training_state_included": false,
62
+ "files": {
63
+ "README.md": {
64
+ "size": 871,
65
+ "sha256": "c5cb1acc5f42215fee0fad0a13990451c10d4b5199714734932cf8dce1e57d0b",
66
+ "git_blob_sha1": "88eb0658cf9b7f7ebea2cea121419bc3e6cfbb4c"
67
+ },
68
+ "pretrained_model/config.json": {
69
+ "size": 2776,
70
+ "sha256": "fa3ed472c1690835a3e95ae54c1842e78c98910c875a6429fb93cf7c1acfae19",
71
+ "git_blob_sha1": "92f145d5b81a4c3a83e245672b76c3d0db6d2366"
72
+ },
73
+ "pretrained_model/model.safetensors": {
74
+ "size": 1110874532,
75
+ "sha256": "6a7d714e37e2ba2001910a3b2c067c1e05b54ffdd086b66aee99c46cf00ffefa",
76
+ "git_blob_sha1": "58a0ebe2ed85bd4813cbe9b3ecde8e74439c3979"
77
+ },
78
+ "pretrained_model/policy_postprocessor.json": {
79
+ "size": 659,
80
+ "sha256": "f953e66e6857340ed76934257dcf9e00b18a12a865b0f4f2b332d1a285839dad",
81
+ "git_blob_sha1": "4c44db41a739258cef9f98302259f9b0d15a501f"
82
+ },
83
+ "pretrained_model/policy_postprocessor_step_0_unnormalizer_processor.safetensors": {
84
+ "size": 17412,
85
+ "sha256": "c112eacee7fadecc764bace19aa5d04a453b4ecd61201ed1e2bafdf6301142f6",
86
+ "git_blob_sha1": "4f7a8abca8c10728d6a415204a829288a565b85e"
87
+ },
88
+ "pretrained_model/policy_preprocessor.json": {
89
+ "size": 1802,
90
+ "sha256": "a4c69acf3ee93a8d476198e74541a1b7d2b36d763c1a8d0aab750eb77b093b84",
91
+ "git_blob_sha1": "5c99efba307f2c328f5aa2c7054edab695185653"
92
+ },
93
+ "pretrained_model/policy_preprocessor_step_4_normalizer_processor.safetensors": {
94
+ "size": 17412,
95
+ "sha256": "c112eacee7fadecc764bace19aa5d04a453b4ecd61201ed1e2bafdf6301142f6",
96
+ "git_blob_sha1": "4f7a8abca8c10728d6a415204a829288a565b85e"
97
+ },
98
+ "pretrained_model/train_config.json": {
99
+ "size": 7165,
100
+ "sha256": "9bdaedf34f142ae2d0df43b04e18c03d4c3135f51dda3a696d79e83466217117",
101
+ "git_blob_sha1": "3758816f29f4235f1fcca04c24a094404077ff85"
102
+ },
103
+ "provenance/CONTRACT.md": {
104
+ "size": 7411,
105
+ "sha256": "945b0aecf29544d7a9cb932f32ad66e1d8689ccd361a646315ec0fe10c1e170b",
106
+ "git_blob_sha1": "db1d4a951d0932e0311e68f660990d813ee73e99"
107
+ },
108
+ "provenance/compat.py": {
109
+ "size": 2767,
110
+ "sha256": "4bebdd8618d8f8806a9ef1e4397a868d383f0573de1bdce8397166b6cafca1e6",
111
+ "git_blob_sha1": "7651f0ee18e56450856d5da1df501b6e51f59f6e"
112
+ },
113
+ "provenance/data_manifest.json": {
114
+ "size": 99989,
115
+ "sha256": "6cd80d70cea7dfd4792f2e0adbc0a539a6437895f05205776b10c505e80a8d28",
116
+ "git_blob_sha1": "12251fc7bb48ac67addacb9ba97835764360e6e6"
117
+ },
118
+ "provenance/effective_train_config.json": {
119
+ "size": 4990,
120
+ "sha256": "341f50f3e33cd0bbc3f682938fcd5820727b83550babbaae7b6f57d75a142610",
121
+ "git_blob_sha1": "b8a8ee3487be658df9c8120c63d9aa03e3858920"
122
+ },
123
+ "provenance/model_assets.json": {
124
+ "size": 543,
125
+ "sha256": "f84a535ecc5152c98c05bba8919147faef93a8a465f01a2a0a09581151553701",
126
+ "git_blob_sha1": "abfad3e3a6d43b57f5e11550d628521f39f4b3ae"
127
+ },
128
+ "provenance/policy.yaml": {
129
+ "size": 874,
130
+ "sha256": "da08ffcbdbbca2f919ebf56019381e6f9218c12190db40bf92f180e128cebb7a",
131
+ "git_blob_sha1": "d997d01aacd4098b7a3e61cf1191fa63fb0e6565"
132
+ },
133
+ "provenance/total.yaml": {
134
+ "size": 6499,
135
+ "sha256": "45b92a3935b04e13f531839e414e586f195422925d33f02b15c9615dce77c310",
136
+ "git_blob_sha1": "a1cd3d6af83ded29518089384c7840b4ea9e4986"
137
+ },
138
+ "provenance/training_step.json": {
139
+ "size": 21,
140
+ "sha256": "5d731361457b999e8a2bc8904308a37f1d219975360eaddb65c144e47846f90f",
141
+ "git_blob_sha1": "5cec056c8ba7f3c2e865a0f73ae59975a0503067"
142
+ }
143
+ }
144
+ }
50_demos/multi_task_dit/checkpoints/checkpoint-15K/pretrained_model/config.json ADDED
@@ -0,0 +1,110 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "type": "multi_task_dit",
3
+ "n_obs_steps": 2,
4
+ "input_features": {
5
+ "observation.images.head": {
6
+ "type": "VISUAL",
7
+ "shape": [
8
+ 3,
9
+ 224,
10
+ 224
11
+ ]
12
+ },
13
+ "observation.images.left_wrist": {
14
+ "type": "VISUAL",
15
+ "shape": [
16
+ 3,
17
+ 224,
18
+ 224
19
+ ]
20
+ },
21
+ "observation.images.right_wrist": {
22
+ "type": "VISUAL",
23
+ "shape": [
24
+ 3,
25
+ 224,
26
+ 224
27
+ ]
28
+ },
29
+ "observation.state": {
30
+ "type": "STATE",
31
+ "shape": [
32
+ 20
33
+ ]
34
+ }
35
+ },
36
+ "output_features": {
37
+ "action": {
38
+ "type": "ACTION",
39
+ "shape": [
40
+ 23
41
+ ]
42
+ }
43
+ },
44
+ "device": "cuda",
45
+ "use_amp": false,
46
+ "use_peft": false,
47
+ "push_to_hub": false,
48
+ "repo_id": null,
49
+ "private": null,
50
+ "tags": null,
51
+ "license": null,
52
+ "pretrained_path": null,
53
+ "horizon": 32,
54
+ "n_action_steps": 24,
55
+ "objective": "diffusion",
56
+ "noise_scheduler_type": "DDPM",
57
+ "num_train_timesteps": 100,
58
+ "beta_schedule": "squaredcos_cap_v2",
59
+ "beta_start": 0.0001,
60
+ "beta_end": 0.02,
61
+ "prediction_type": "epsilon",
62
+ "clip_sample": true,
63
+ "clip_sample_range": 1.0,
64
+ "num_inference_steps": null,
65
+ "sigma_min": 0.0,
66
+ "num_integration_steps": 100,
67
+ "integration_method": "euler",
68
+ "timestep_sampling_strategy": "beta",
69
+ "timestep_sampling_s": 0.999,
70
+ "timestep_sampling_alpha": 1.5,
71
+ "timestep_sampling_beta": 1.0,
72
+ "hidden_dim": 512,
73
+ "num_layers": 6,
74
+ "num_heads": 8,
75
+ "dropout": 0.1,
76
+ "use_positional_encoding": false,
77
+ "timestep_embed_dim": 256,
78
+ "use_rope": true,
79
+ "rope_base": 10000.0,
80
+ "vision_encoder_name": "openai/clip-vit-base-patch16",
81
+ "use_separate_rgb_encoder_per_camera": false,
82
+ "vision_encoder_lr_multiplier": 0.1,
83
+ "image_resize_shape": null,
84
+ "image_crop_shape": [
85
+ 224,
86
+ 224
87
+ ],
88
+ "image_crop_is_random": true,
89
+ "text_encoder_name": "openai/clip-vit-base-patch16",
90
+ "tokenizer_max_length": 77,
91
+ "tokenizer_padding": "max_length",
92
+ "tokenizer_padding_side": "right",
93
+ "tokenizer_truncation": true,
94
+ "normalization_mapping": {
95
+ "VISUAL": "MEAN_STD",
96
+ "STATE": "MIN_MAX",
97
+ "ACTION": "MIN_MAX"
98
+ },
99
+ "optimizer_lr": 2e-05,
100
+ "optimizer_betas": [
101
+ 0.95,
102
+ 0.999
103
+ ],
104
+ "optimizer_eps": 1e-08,
105
+ "optimizer_weight_decay": 0.0,
106
+ "scheduler_name": "cosine",
107
+ "scheduler_warmup_steps": 0,
108
+ "do_mask_loss_for_padding": false,
109
+ "drop_n_last_frames": 7
110
+ }
50_demos/multi_task_dit/checkpoints/checkpoint-15K/pretrained_model/model.safetensors ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:6a7d714e37e2ba2001910a3b2c067c1e05b54ffdd086b66aee99c46cf00ffefa
3
+ size 1110874532
50_demos/multi_task_dit/checkpoints/checkpoint-15K/pretrained_model/policy_postprocessor.json ADDED
@@ -0,0 +1,32 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "name": "policy_postprocessor",
3
+ "steps": [
4
+ {
5
+ "registry_name": "unnormalizer_processor",
6
+ "config": {
7
+ "eps": 1e-08,
8
+ "features": {
9
+ "action": {
10
+ "type": "ACTION",
11
+ "shape": [
12
+ 23
13
+ ]
14
+ }
15
+ },
16
+ "norm_map": {
17
+ "VISUAL": "MEAN_STD",
18
+ "STATE": "MIN_MAX",
19
+ "ACTION": "MIN_MAX"
20
+ }
21
+ },
22
+ "state_file": "policy_postprocessor_step_0_unnormalizer_processor.safetensors"
23
+ },
24
+ {
25
+ "registry_name": "device_processor",
26
+ "config": {
27
+ "device": "cpu",
28
+ "float_dtype": null
29
+ }
30
+ }
31
+ ]
32
+ }
50_demos/multi_task_dit/checkpoints/checkpoint-15K/pretrained_model/policy_postprocessor_step_0_unnormalizer_processor.safetensors ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:c112eacee7fadecc764bace19aa5d04a453b4ecd61201ed1e2bafdf6301142f6
3
+ size 17412
50_demos/multi_task_dit/checkpoints/checkpoint-15K/pretrained_model/policy_preprocessor.json ADDED
@@ -0,0 +1,83 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "name": "policy_preprocessor",
3
+ "steps": [
4
+ {
5
+ "registry_name": "rename_observations_processor",
6
+ "config": {
7
+ "rename_map": {}
8
+ }
9
+ },
10
+ {
11
+ "registry_name": "to_batch_processor",
12
+ "config": {}
13
+ },
14
+ {
15
+ "registry_name": "tokenizer_processor",
16
+ "config": {
17
+ "max_length": 77,
18
+ "task_key": "task",
19
+ "padding_side": "right",
20
+ "padding": "max_length",
21
+ "truncation": true,
22
+ "tokenizer_name": "openai/clip-vit-base-patch16"
23
+ }
24
+ },
25
+ {
26
+ "registry_name": "device_processor",
27
+ "config": {
28
+ "device": "cuda",
29
+ "float_dtype": null
30
+ }
31
+ },
32
+ {
33
+ "registry_name": "normalizer_processor",
34
+ "config": {
35
+ "eps": 1e-08,
36
+ "features": {
37
+ "observation.images.head": {
38
+ "type": "VISUAL",
39
+ "shape": [
40
+ 3,
41
+ 224,
42
+ 224
43
+ ]
44
+ },
45
+ "observation.images.left_wrist": {
46
+ "type": "VISUAL",
47
+ "shape": [
48
+ 3,
49
+ 224,
50
+ 224
51
+ ]
52
+ },
53
+ "observation.images.right_wrist": {
54
+ "type": "VISUAL",
55
+ "shape": [
56
+ 3,
57
+ 224,
58
+ 224
59
+ ]
60
+ },
61
+ "observation.state": {
62
+ "type": "STATE",
63
+ "shape": [
64
+ 20
65
+ ]
66
+ },
67
+ "action": {
68
+ "type": "ACTION",
69
+ "shape": [
70
+ 23
71
+ ]
72
+ }
73
+ },
74
+ "norm_map": {
75
+ "VISUAL": "MEAN_STD",
76
+ "STATE": "MIN_MAX",
77
+ "ACTION": "MIN_MAX"
78
+ }
79
+ },
80
+ "state_file": "policy_preprocessor_step_4_normalizer_processor.safetensors"
81
+ }
82
+ ]
83
+ }
50_demos/multi_task_dit/checkpoints/checkpoint-15K/pretrained_model/policy_preprocessor_step_4_normalizer_processor.safetensors ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:c112eacee7fadecc764bace19aa5d04a453b4ecd61201ed1e2bafdf6301142f6
3
+ size 17412
50_demos/multi_task_dit/checkpoints/checkpoint-15K/pretrained_model/train_config.json ADDED
@@ -0,0 +1,249 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "dataset": {
3
+ "repo_id": "RwH-Lab/kuavo-skill-50demos-10hz-state20-futuretorso",
4
+ "root": "/home/work/mntvol/data/RwH-Kuavo-v2/50_demos/skill_10hz_state20_futuretorso_policy_chunks",
5
+ "episodes": null,
6
+ "image_transforms": {
7
+ "enable": false,
8
+ "max_num_transforms": 3,
9
+ "random_order": false,
10
+ "tfs": {
11
+ "brightness": {
12
+ "weight": 1.0,
13
+ "type": "ColorJitter",
14
+ "kwargs": {
15
+ "brightness": [
16
+ 0.8,
17
+ 1.2
18
+ ]
19
+ }
20
+ },
21
+ "contrast": {
22
+ "weight": 1.0,
23
+ "type": "ColorJitter",
24
+ "kwargs": {
25
+ "contrast": [
26
+ 0.8,
27
+ 1.2
28
+ ]
29
+ }
30
+ },
31
+ "saturation": {
32
+ "weight": 1.0,
33
+ "type": "ColorJitter",
34
+ "kwargs": {
35
+ "saturation": [
36
+ 0.5,
37
+ 1.5
38
+ ]
39
+ }
40
+ },
41
+ "hue": {
42
+ "weight": 1.0,
43
+ "type": "ColorJitter",
44
+ "kwargs": {
45
+ "hue": [
46
+ -0.05,
47
+ 0.05
48
+ ]
49
+ }
50
+ },
51
+ "sharpness": {
52
+ "weight": 1.0,
53
+ "type": "SharpnessJitter",
54
+ "kwargs": {
55
+ "sharpness": [
56
+ 0.5,
57
+ 1.5
58
+ ]
59
+ }
60
+ },
61
+ "affine": {
62
+ "weight": 1.0,
63
+ "type": "RandomAffine",
64
+ "kwargs": {
65
+ "degrees": [
66
+ -5.0,
67
+ 5.0
68
+ ],
69
+ "translate": [
70
+ 0.05,
71
+ 0.05
72
+ ]
73
+ }
74
+ }
75
+ }
76
+ },
77
+ "revision": null,
78
+ "use_imagenet_stats": true,
79
+ "video_backend": "pyav",
80
+ "return_uint8": false,
81
+ "streaming": false
82
+ },
83
+ "env": null,
84
+ "policy": {
85
+ "type": "multi_task_dit",
86
+ "n_obs_steps": 2,
87
+ "input_features": {
88
+ "observation.images.head": {
89
+ "type": "VISUAL",
90
+ "shape": [
91
+ 3,
92
+ 224,
93
+ 224
94
+ ]
95
+ },
96
+ "observation.images.left_wrist": {
97
+ "type": "VISUAL",
98
+ "shape": [
99
+ 3,
100
+ 224,
101
+ 224
102
+ ]
103
+ },
104
+ "observation.images.right_wrist": {
105
+ "type": "VISUAL",
106
+ "shape": [
107
+ 3,
108
+ 224,
109
+ 224
110
+ ]
111
+ },
112
+ "observation.state": {
113
+ "type": "STATE",
114
+ "shape": [
115
+ 20
116
+ ]
117
+ }
118
+ },
119
+ "output_features": {
120
+ "action": {
121
+ "type": "ACTION",
122
+ "shape": [
123
+ 23
124
+ ]
125
+ }
126
+ },
127
+ "device": "cuda",
128
+ "use_amp": false,
129
+ "use_peft": false,
130
+ "push_to_hub": false,
131
+ "repo_id": null,
132
+ "private": null,
133
+ "tags": null,
134
+ "license": null,
135
+ "pretrained_path": null,
136
+ "horizon": 32,
137
+ "n_action_steps": 24,
138
+ "objective": "diffusion",
139
+ "noise_scheduler_type": "DDPM",
140
+ "num_train_timesteps": 100,
141
+ "beta_schedule": "squaredcos_cap_v2",
142
+ "beta_start": 0.0001,
143
+ "beta_end": 0.02,
144
+ "prediction_type": "epsilon",
145
+ "clip_sample": true,
146
+ "clip_sample_range": 1.0,
147
+ "num_inference_steps": null,
148
+ "sigma_min": 0.0,
149
+ "num_integration_steps": 100,
150
+ "integration_method": "euler",
151
+ "timestep_sampling_strategy": "beta",
152
+ "timestep_sampling_s": 0.999,
153
+ "timestep_sampling_alpha": 1.5,
154
+ "timestep_sampling_beta": 1.0,
155
+ "hidden_dim": 512,
156
+ "num_layers": 6,
157
+ "num_heads": 8,
158
+ "dropout": 0.1,
159
+ "use_positional_encoding": false,
160
+ "timestep_embed_dim": 256,
161
+ "use_rope": true,
162
+ "rope_base": 10000.0,
163
+ "vision_encoder_name": "openai/clip-vit-base-patch16",
164
+ "use_separate_rgb_encoder_per_camera": false,
165
+ "vision_encoder_lr_multiplier": 0.1,
166
+ "image_resize_shape": null,
167
+ "image_crop_shape": [
168
+ 224,
169
+ 224
170
+ ],
171
+ "image_crop_is_random": true,
172
+ "text_encoder_name": "openai/clip-vit-base-patch16",
173
+ "tokenizer_max_length": 77,
174
+ "tokenizer_padding": "max_length",
175
+ "tokenizer_padding_side": "right",
176
+ "tokenizer_truncation": true,
177
+ "normalization_mapping": {
178
+ "VISUAL": "MEAN_STD",
179
+ "STATE": "MIN_MAX",
180
+ "ACTION": "MIN_MAX"
181
+ },
182
+ "optimizer_lr": 2e-05,
183
+ "optimizer_betas": [
184
+ 0.95,
185
+ 0.999
186
+ ],
187
+ "optimizer_eps": 1e-08,
188
+ "optimizer_weight_decay": 0.0,
189
+ "scheduler_name": "cosine",
190
+ "scheduler_warmup_steps": 0,
191
+ "do_mask_loss_for_padding": false,
192
+ "drop_n_last_frames": 7
193
+ },
194
+ "output_dir": "/home/work/mntvol/RwH-Kuavo_ckpt/50_demos/multi_task_dit",
195
+ "job_name": "rwh_50demos_multi_task_dit",
196
+ "resume": false,
197
+ "seed": 42,
198
+ "cudnn_deterministic": false,
199
+ "num_workers": 4,
200
+ "batch_size": 64,
201
+ "prefetch_factor": 4,
202
+ "persistent_workers": true,
203
+ "steps": 20000,
204
+ "eval_freq": 0,
205
+ "log_freq": 100,
206
+ "tolerance_s": 0.0001,
207
+ "save_checkpoint": true,
208
+ "save_freq": 5000,
209
+ "use_policy_training_preset": true,
210
+ "optimizer": {
211
+ "type": "adam",
212
+ "lr": 2e-05,
213
+ "weight_decay": 0.0,
214
+ "grad_clip_norm": 10.0,
215
+ "betas": [
216
+ 0.95,
217
+ 0.999
218
+ ],
219
+ "eps": 1e-08
220
+ },
221
+ "scheduler": {
222
+ "type": "diffuser",
223
+ "num_warmup_steps": 0,
224
+ "name": "cosine"
225
+ },
226
+ "eval": {
227
+ "n_episodes": 50,
228
+ "batch_size": 50,
229
+ "use_async_envs": true
230
+ },
231
+ "wandb": {
232
+ "enable": false,
233
+ "disable_artifact": true,
234
+ "project": "RwH-Kuavo-50demos",
235
+ "entity": null,
236
+ "notes": null,
237
+ "run_id": null,
238
+ "mode": null,
239
+ "add_tags": true
240
+ },
241
+ "peft": null,
242
+ "use_rabc": false,
243
+ "rabc_progress_path": null,
244
+ "rabc_kappa": 0.01,
245
+ "rabc_epsilon": 1e-06,
246
+ "rabc_head_mode": "sparse",
247
+ "rename_map": {},
248
+ "checkpoint_path": null
249
+ }
50_demos/multi_task_dit/checkpoints/checkpoint-15K/provenance/CONTRACT.md ADDED
@@ -0,0 +1,101 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ # Kuavo 50 demos — 실행 중인 학습 계약
2
+
3
+ 사용자 승인에 따라 네 정책의 20k 본학습을 실행했다. 아래는 실행 계약이며, 20k 완료 보고가 아니다.
4
+
5
+ ## 경로와 작업
6
+
7
+ - Output root: `/home/work/mntvol/RwH-Kuavo_ckpt/50_demos/`
8
+ - 정책별 출력: `<root>/{smolvla,multi_task_dit,pi05,gr00t}/checkpoints/`
9
+ - 현재 실행 로그·설정: `<root>/_runs/full_20261025_235828/`
10
+ - 현재 데이터·language·실행 검증: `<root>/_audit/policy_windows_20261025_235658/`
11
+ - tmux: `rwh-50demos-20261025-233840`
12
+ - 설정/코드: `/home/work/workspace/RwH-Kuavo_V2/RwH/configs/50_demos/`
13
+ - Notion: https://app.notion.com/p/40463918d42a80d18dd6c5d872c3f212
14
+ - GPU 1: Pi0.5. GPU 2: GR00T N1.5. GPU 3: SmolVLA + MultiTask-DiT 동시 실행.
15
+ - 정책마다 독립 프로세스이며 각각 global batch 64다. GPU 0은 사용하지 않는다.
16
+ - 재실행으로 중복 작업이 생기지 않도록 active tmux session 검사와 launch lock을 추가했다.
17
+
18
+ ## 공통 계약
19
+
20
+ - fps 10, seed 42, batch 64, accumulation 1, steps 20,000.
21
+ - checkpoint 5k/10k/15k/20k, optimizer·scheduler state 저장, last symlink.
22
+ - validation split 없음, 환경 eval/rollout 없음. 로컬 로그 사용, W&B 비활성화.
23
+ - 현재 launcher는 fresh run용이다. 자동 재개/자동 실패 복구를 지원하지 않는다.
24
+ - 데이터: `RwH-Lab/kuavo-dataset-skill`, revision `fdb2779c71434db093fe899a2b7c6a6b4804e3d8`.
25
+ - 원본: `/home/work/mntvol/data/RwH-Kuavo-v2/kuavo-dataset-skill` — 50 episodes, 90,820 frames, 30fps, task 7종.
26
+ - 파생: `/home/work/mntvol/data/RwH-Kuavo-v2/50_demos/skill_10hz_state20_futuretorso_policy_chunks` — task 구간 264개, 30,288 frames, 10fps.
27
+ - 원본 episode마다 매 3번째 프레임을 선택한다. task 경계는 샘플링 전에 검출한다.
28
+ - 영상 3개(head/left_wrist/right_wrist)는 원본 30fps mp4 링크를 10Hz 시각으로 디코딩한다. 원본 디렉터리가 필요하다.
29
+
30
+ ## State와 action
31
+
32
+ - State 20D: 현재 torso 4 + 양팔 14 + gripper 2. rack 좌표와 base velocity를 state에 넣지 않는다.
33
+ - Action 23D: 다음 실제 torso state 4 + 원본 팔·gripper 명령 16 + 원본 base cmd_vel 3.
34
+ - torso는 모든 episode에서 일관되게 q(t+1)로 대체한다. H개 chunk는 q(t+1)..q(t+H)다.
35
+ - 원본 validity=false이고 저장값이 0인 base 15,263프레임은 합의에 따라 0 명령으로 사용했다.
36
+ - task 마지막 프레임의 torso는 미래 state가 없어 무효 표시하며 학습 시작점/target에 들어가지 않도록 제한한다.
37
+
38
+ ## 모델 기본값과 일정
39
+
40
+ | 정책 | 학습 방식 | peak LR | horizon / 실행 길이 |
41
+ |---|---|---:|---|
42
+ | SmolVLA | LoRA r64 | 1e-3 | 50 / 50 |
43
+ | MultiTask-DiT | CLIP pretrained + action 모델 학습 | 2e-5 | 32 / 24 |
44
+ | Pi0.5 | LoRA r16 | 2.5e-4 | 50 / 50 |
45
+ | GR00T N1.5 | LLM·vision freeze, projector·action head 학습 | 1e-4 | 16 / 16 |
46
+
47
+ - DiT: 관측 2개, action offsets -1..30, vision LR 2e-6, text freeze, cosine/warmup 0.
48
+ - 다른 세 정책: warmup 1,000, cosine decay 20,000, 최종 LR=peak의 0.1배.
49
+ - GR00T preset에 고정된 10k scheduler는 20k에 맞춰 명시했다.
50
+ - Pi0.5: bf16, gradient checkpointing, absolute actions, 기본 max-autotune compile 유지.
51
+ - 모델 revision은 `train/model_assets.json`에 기록했고, 본학습은 캐시의 해당 revision을 offline으로 사용한다.
52
+ - LeTools commit `6d2002613241ae2a32c5d8fd753f80caa1383fba`.
53
+ - LeRobot commit `a07f22e22ce88cddff1f6eddced9ea008fbfc37c`.
54
+
55
+ ## 정책별 샘플링과 language
56
+
57
+ 공통 최대 50프레임 제한을 제거하고 각 정책의 실제 history/예측 offset으로 정했다.
58
+ 길이 L인 task 구간에서 시작점은 range(history, L-future)다.
59
+ future는 torso의 한 프레임 앞 target까지 포함한 최대 미래 offset이다.
60
+
61
+ | 정책 | history / future | 시작점 수 | 유효 task 구간 | epoch당 batch | 20k epoch(drop_last) |
62
+ |---|---|---:|---:|---:|---:|
63
+ | SmolVLA | 0 / 50 | 17,680 | 214 / 264 | 276 | 72.46 |
64
+ | Pi0.5 | 0 / 50 | 17,680 | 214 / 264 | 276 | 72.46 |
65
+ | MultiTask-DiT | 1 / 31 | 21,865 | 257 / 264 | 341 | 58.65 |
66
+ | GR00T N1.5 | 0 / 16 | 26,064 | 264 / 264 | 407 | 49.14 |
67
+
68
+ - 각 유효 구간의 마지막 시작점에서 마지막 torso target이 task의 마지막 state와 정확히 일치함을 전수 검사했다.
69
+ - 원본 에피소드 50개와 task 7종은 모두 유지한다. 다만 모델보다 짧은 task 구간에는 유효한 full chunk가 없다.
70
+ - 독립 generator seed=42+epoch, drop_last=true로 각 update의 batch 64를 유지한다. 모델별 시작점 순서는 결정적이다.
71
+ - frame.task_index → meta/tasks.parquet → batch['task']. 별도 subtask_index나 task.language 컬럼은 없다.
72
+ - 원본 90,820개와 파생 30,288개 state의 language 누락·미정의 task index는 0개다.
73
+ - 전체 state의 native 문장 조회, 정책별 모든 시작점의 경계, 실제 processor의 7종 혼합 batch 토큰을 검사했다.
74
+ - 매 batch의 language 연결과 boundary padding을 검사하며 위반하면 update 전에 실패한다.
75
+
76
+ ## 필요한 전처리 보정
77
+
78
+ - GR00T·DiT: 서로 다른 카메라 해상도를 비율 보존 224×224 resize/pad로 통일한다.
79
+ - GR00T: batch 첫 task 문장을 재사용하던 upstream processor를 compat.py에서 보정했다.
80
+ - Pi0.5: 베이스 checkpoint의 오래된 processor registry 이름 대신 현재 코드·새 통계로 processor를 구성한다.
81
+ - vendored LeTools는 수정하지 않았다. 반드시 프로젝트 `train/launch.sh`를 통해 실행한다.
82
+ - GR00T 배포에서는 compat.install('gr00t')가 필요하다. GR00T·DiT의 실시간 영상에도 같은 letterbox 처리가 필요하다.
83
+
84
+ ## 검증 범위와 실제 제한
85
+
86
+ - `data_validation.json`: 전체 수치 매핑·통계, 영상 33개 이미지 일치, native chunk/history 검사.
87
+ - `language_validation.json`: 모든 state/language, 모든 시작점의 task 경계와 혼합 batch 토큰 검사.
88
+ - `launch_validation.json`: 실제 네 CUDA PID/GPU, 진행 step, finite loss/gradient, effective config, LR/scheduler/seed/output, 모델 revision 검사.
89
+ - 이 검증은 실행 진행 확인이다. 최초 본학습 checkpoint는 5k이며 아직 저장 완료를 확인한 단계는 아니다.
90
+ - 의미상 영상 라벨 재판정, 로봇 rollout 성공률, 20k 수렴은 검증하지 않았다.
91
+ - 수정한 문제: 제가 추가한 공통 50프레임 기준은 짧은 horizon 모델의 task 말미 정답을 누락시켰다. 초기 실행을 종료하고 정책별 기준으로 수정·검증하여 네 정책을 새로 시작했다. 데이터 264개 파일은 이전과 해시가 같다.
92
+ - torso label은 원본 명령의 복원이 아니라 미래 실제 위치를 쓰는 대체 label이다.
93
+ - base 0 합의는 원본 ROSbag을 통한 모든 구간의 실제 정지 입증과 구분한다.
94
+ - 자동 resume는 아직 지원하지 않는다. 재개 시 sampler·normalization·processor 계약을 유지해야 한다.
95
+
96
+ ## 테스트 산출물 삭제
97
+
98
+ 사용자 요청에 따라 이전 smoke/실패 테스트 checkpoint 약 28GB, 이전 테스트 로그/보고서, dry-run 산출물을 삭제했다.
99
+ 삭제 목록은 현재 audit 디렉터리의 cleanup_manifest.json에 기록했다.
100
+ 원본/학습용 데이터, pretrained cache, 본학습과 새 본학습 검증 기록은 유지한다.
101
+ 테스트 소스 코드는 재현용 코드이므로 유지한다.
50_demos/multi_task_dit/checkpoints/checkpoint-15K/provenance/compat.py ADDED
@@ -0,0 +1,66 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ """Runtime compatibility fixes for this pinned LeTools revision.
2
+
3
+ Import/install this module before loading saved GR00T processors for inference.
4
+ """
5
+ import copy
6
+
7
+
8
+ def letterbox224(image):
9
+ from torchvision.transforms import functional as F
10
+ height, width = image.shape[-2:]
11
+ scale = 224 / max(height, width)
12
+ new_h, new_w = max(1, round(height * scale)), max(1, round(width * scale))
13
+ image = F.resize(image, [new_h, new_w], antialias=True)
14
+ left, top = (224 - new_w) // 2, (224 - new_h) // 2
15
+ return F.pad(image, [left, top, 224 - new_w - left, 224 - new_h - top])
16
+
17
+
18
+ def install(policy):
19
+ if policy != "gr00t":
20
+ return
21
+ from lerobot.policies.groot.processor_groot import GrootPackInputsStep, GrootEagleEncodeStep
22
+ from lerobot.types import TransitionKey as K
23
+ if getattr(GrootPackInputsStep, "_rwh_prompts_fixed", False):
24
+ return
25
+ original_pack = GrootPackInputsStep.__call__
26
+ original_encode = GrootEagleEncodeStep.__call__
27
+
28
+ def pack(self, transition):
29
+ prompts = transition.get(K.COMPLEMENTARY_DATA, {}).get(self.language_key)
30
+ result = original_pack(self, transition)
31
+ if isinstance(prompts, list):
32
+ if self.formalize_language:
33
+ prompts = ["".join(c for c in p.lower() if c.isalnum() or c.isspace()) for p in prompts]
34
+ result[K.COMPLEMENTARY_DATA]["language"] = prompts
35
+ return result
36
+
37
+ def encode(self, transition):
38
+ obs = transition.get(K.OBSERVATION, {})
39
+ comp = transition.get(K.COMPLEMENTARY_DATA, {})
40
+ prompts = comp.get("language")
41
+ if not isinstance(prompts, list) or "video" not in obs:
42
+ return original_encode(self, transition)
43
+ if len(prompts) != obs["video"].shape[0]:
44
+ raise ValueError("One task prompt is required for every GR00T batch sample")
45
+ contents = []
46
+ for i, prompt in enumerate(prompts):
47
+ one = {K.OBSERVATION: {"video": obs["video"][i:i + 1]},
48
+ K.COMPLEMENTARY_DATA: {"language": prompt}}
49
+ encoded = original_encode(self, one)
50
+ contents.extend(encoded[K.COMPLEMENTARY_DATA]["eagle_content"])
51
+ comp["eagle_content"] = contents
52
+ return transition
53
+
54
+ GrootPackInputsStep.__call__ = pack
55
+ GrootPackInputsStep._rwh_prompts_fixed = True
56
+ GrootEagleEncodeStep.__call__ = encode
57
+
58
+
59
+ def adapt_dataset(dataset):
60
+ if dataset.image_transforms is not None:
61
+ raise ValueError("Expected unaugmented images before deterministic letterboxing")
62
+ dataset.set_image_transforms(letterbox224)
63
+ dataset.meta.info = copy.deepcopy(dataset.meta.info)
64
+ for key in dataset.meta.camera_keys:
65
+ dataset.meta.info["features"][key]["shape"] = [224, 224, 3]
66
+ return dataset
50_demos/multi_task_dit/checkpoints/checkpoint-15K/provenance/data_manifest.json ADDED
The diff for this file is too large to render. See raw diff
 
50_demos/multi_task_dit/checkpoints/checkpoint-15K/provenance/effective_train_config.json ADDED
@@ -0,0 +1,211 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "dataset": {
3
+ "repo_id": "RwH-Lab/kuavo-skill-50demos-10hz-state20-futuretorso",
4
+ "root": "/home/work/mntvol/data/RwH-Kuavo-v2/50_demos/skill_10hz_state20_futuretorso_policy_chunks",
5
+ "episodes": null,
6
+ "image_transforms": {
7
+ "enable": false,
8
+ "max_num_transforms": 3,
9
+ "random_order": false,
10
+ "tfs": {
11
+ "brightness": {
12
+ "weight": 1.0,
13
+ "type": "ColorJitter",
14
+ "kwargs": {
15
+ "brightness": [
16
+ 0.8,
17
+ 1.2
18
+ ]
19
+ }
20
+ },
21
+ "contrast": {
22
+ "weight": 1.0,
23
+ "type": "ColorJitter",
24
+ "kwargs": {
25
+ "contrast": [
26
+ 0.8,
27
+ 1.2
28
+ ]
29
+ }
30
+ },
31
+ "saturation": {
32
+ "weight": 1.0,
33
+ "type": "ColorJitter",
34
+ "kwargs": {
35
+ "saturation": [
36
+ 0.5,
37
+ 1.5
38
+ ]
39
+ }
40
+ },
41
+ "hue": {
42
+ "weight": 1.0,
43
+ "type": "ColorJitter",
44
+ "kwargs": {
45
+ "hue": [
46
+ -0.05,
47
+ 0.05
48
+ ]
49
+ }
50
+ },
51
+ "sharpness": {
52
+ "weight": 1.0,
53
+ "type": "SharpnessJitter",
54
+ "kwargs": {
55
+ "sharpness": [
56
+ 0.5,
57
+ 1.5
58
+ ]
59
+ }
60
+ },
61
+ "affine": {
62
+ "weight": 1.0,
63
+ "type": "RandomAffine",
64
+ "kwargs": {
65
+ "degrees": [
66
+ -5.0,
67
+ 5.0
68
+ ],
69
+ "translate": [
70
+ 0.05,
71
+ 0.05
72
+ ]
73
+ }
74
+ }
75
+ }
76
+ },
77
+ "revision": null,
78
+ "use_imagenet_stats": true,
79
+ "video_backend": "pyav",
80
+ "return_uint8": false,
81
+ "streaming": false
82
+ },
83
+ "env": null,
84
+ "policy": {
85
+ "type": "multi_task_dit",
86
+ "n_obs_steps": 2,
87
+ "input_features": {},
88
+ "output_features": {},
89
+ "device": "cuda",
90
+ "use_amp": false,
91
+ "use_peft": false,
92
+ "push_to_hub": false,
93
+ "repo_id": null,
94
+ "private": null,
95
+ "tags": null,
96
+ "license": null,
97
+ "pretrained_path": null,
98
+ "horizon": 32,
99
+ "n_action_steps": 24,
100
+ "objective": "diffusion",
101
+ "noise_scheduler_type": "DDPM",
102
+ "num_train_timesteps": 100,
103
+ "beta_schedule": "squaredcos_cap_v2",
104
+ "beta_start": 0.0001,
105
+ "beta_end": 0.02,
106
+ "prediction_type": "epsilon",
107
+ "clip_sample": true,
108
+ "clip_sample_range": 1.0,
109
+ "num_inference_steps": null,
110
+ "sigma_min": 0.0,
111
+ "num_integration_steps": 100,
112
+ "integration_method": "euler",
113
+ "timestep_sampling_strategy": "beta",
114
+ "timestep_sampling_s": 0.999,
115
+ "timestep_sampling_alpha": 1.5,
116
+ "timestep_sampling_beta": 1.0,
117
+ "hidden_dim": 512,
118
+ "num_layers": 6,
119
+ "num_heads": 8,
120
+ "dropout": 0.1,
121
+ "use_positional_encoding": false,
122
+ "timestep_embed_dim": 256,
123
+ "use_rope": true,
124
+ "rope_base": 10000.0,
125
+ "vision_encoder_name": "openai/clip-vit-base-patch16",
126
+ "use_separate_rgb_encoder_per_camera": false,
127
+ "vision_encoder_lr_multiplier": 0.1,
128
+ "image_resize_shape": null,
129
+ "image_crop_shape": [
130
+ 224,
131
+ 224
132
+ ],
133
+ "image_crop_is_random": true,
134
+ "text_encoder_name": "openai/clip-vit-base-patch16",
135
+ "tokenizer_max_length": 77,
136
+ "tokenizer_padding": "max_length",
137
+ "tokenizer_padding_side": "right",
138
+ "tokenizer_truncation": true,
139
+ "normalization_mapping": {
140
+ "VISUAL": "MEAN_STD",
141
+ "STATE": "MIN_MAX",
142
+ "ACTION": "MIN_MAX"
143
+ },
144
+ "optimizer_lr": 2e-05,
145
+ "optimizer_betas": [
146
+ 0.95,
147
+ 0.999
148
+ ],
149
+ "optimizer_eps": 1e-08,
150
+ "optimizer_weight_decay": 0.0,
151
+ "scheduler_name": "cosine",
152
+ "scheduler_warmup_steps": 0,
153
+ "do_mask_loss_for_padding": false,
154
+ "drop_n_last_frames": 7
155
+ },
156
+ "output_dir": "/home/work/mntvol/RwH-Kuavo_ckpt/50_demos/multi_task_dit",
157
+ "job_name": "rwh_50demos_multi_task_dit",
158
+ "resume": false,
159
+ "seed": 42,
160
+ "cudnn_deterministic": false,
161
+ "num_workers": 4,
162
+ "batch_size": 64,
163
+ "prefetch_factor": 4,
164
+ "persistent_workers": true,
165
+ "steps": 20000,
166
+ "eval_freq": 0,
167
+ "log_freq": 100,
168
+ "tolerance_s": 0.0001,
169
+ "save_checkpoint": true,
170
+ "save_freq": 5000,
171
+ "use_policy_training_preset": true,
172
+ "optimizer": {
173
+ "type": "adam",
174
+ "lr": 2e-05,
175
+ "weight_decay": 0.0,
176
+ "grad_clip_norm": 10.0,
177
+ "betas": [
178
+ 0.95,
179
+ 0.999
180
+ ],
181
+ "eps": 1e-08
182
+ },
183
+ "scheduler": {
184
+ "type": "diffuser",
185
+ "num_warmup_steps": 0,
186
+ "name": "cosine"
187
+ },
188
+ "eval": {
189
+ "n_episodes": 50,
190
+ "batch_size": 50,
191
+ "use_async_envs": true
192
+ },
193
+ "wandb": {
194
+ "enable": false,
195
+ "disable_artifact": true,
196
+ "project": "RwH-Kuavo-50demos",
197
+ "entity": null,
198
+ "notes": null,
199
+ "run_id": null,
200
+ "mode": null,
201
+ "add_tags": true
202
+ },
203
+ "peft": null,
204
+ "use_rabc": false,
205
+ "rabc_progress_path": null,
206
+ "rabc_kappa": 0.01,
207
+ "rabc_epsilon": 1e-06,
208
+ "rabc_head_mode": "sparse",
209
+ "rename_map": {},
210
+ "checkpoint_path": null
211
+ }
50_demos/multi_task_dit/checkpoints/checkpoint-15K/provenance/model_assets.json ADDED
@@ -0,0 +1,9 @@
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "lerobot/smolvla_base": "5e8d12a6e2975b0e5e5fce7c8caf47c371d257b6",
3
+ "lerobot/pi05_base": "22c30e5b34f9e7ab738b1b34fc2fc5ecfe2d28f0",
4
+ "openai/clip-vit-base-patch16": "57c216476eefef5ab752ec549e440a49ae4ae5f3",
5
+ "HuggingFaceTB/SmolVLM2-500M-Video-Instruct": "7b375e1b73b11138ff12fe22c8f2822d8fe03467",
6
+ "google/paligemma-3b-pt-224": "35e4f46485b4d07967e7e9935bc3786aad50687c",
7
+ "lerobot/eagle2hg-processor-groot-n1p5": "baf604d8a5caf26fda5cc545f141bc1814156237",
8
+ "nvidia/GR00T-N1.5-3B": "869830fc749c35f34771aa5209f923ac57e4564e"
9
+ }
50_demos/multi_task_dit/checkpoints/checkpoint-15K/provenance/policy.yaml ADDED
@@ -0,0 +1,32 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ # LeTools simple defaults + agreed 50_demos contract. One GPU, no gradient accumulation.
2
+ dataset:
3
+ repo_id: RwH-Lab/kuavo-skill-50demos-10hz-state20-futuretorso
4
+ root: /home/work/mntvol/data/RwH-Kuavo-v2/50_demos/skill_10hz_state20_futuretorso_policy_chunks
5
+ training:
6
+ resume: false
7
+ output_dir: /home/work/mntvol/RwH-Kuavo_ckpt/50_demos/multi_task_dit
8
+ job_name: rwh_50demos_multi_task_dit
9
+ batch_size: 64
10
+ steps: 20000
11
+ save_freq: 5000
12
+ log_freq: 100
13
+ eval_freq: 0
14
+ num_workers: 4
15
+ seed: 42
16
+ wandb:
17
+ enable: false
18
+ project: RwH-Kuavo-50demos
19
+ policy:
20
+ type: multi_task_dit
21
+ pretrained_path: null
22
+ vision_encoder_name: openai/clip-vit-base-patch16
23
+ text_encoder_name: openai/clip-vit-base-patch16
24
+ n_obs_steps: 2
25
+ horizon: 32
26
+ n_action_steps: 24
27
+ objective: diffusion
28
+ image_crop_shape:
29
+ - 224
30
+ - 224
31
+ optimizer_lr: 2.0e-05
32
+ scheduler_name: cosine
50_demos/multi_task_dit/checkpoints/checkpoint-15K/provenance/total.yaml ADDED
@@ -0,0 +1,118 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ dataset: # 数据集相关设置。
2
+ repo_id: "lerobot/your_dataset" # 数据集名字,用来做标识。
3
+ root: null # 本地数据路径。
4
+ episodes: null # 只训练指定的 episode;不填就是全量。
5
+ image_transforms: {} # 额外的图像预处理设置。
6
+ revision: null # 远程数据集版本;本地训练一般不用改。
7
+ use_imagenet_stats: true # 图像是否用 ImageNet 的均值方差做归一化。
8
+ video_backend: pyav # 读视频帧用的后端。一般用 pyav。
9
+ return_uint8: false # 是否保留图像为 uint8,而不是转换成 float tensor。
10
+ streaming: false # 是否流式读数据。一般保持 false。
11
+
12
+ training: # 训练流程设置。
13
+ output_dir: "outputs/train/multi_task_dit" # 训练输出目录。
14
+ job_name: "multi_task_dit" # 实验名。
15
+ resume: false # 是否从 output_dir 最新 checkpoint 继续训;续训改为 true,并修改 output_dir 为上阶段 run 的产物路径,如 outputs/train/multi_task_dit_YYYYMMDD_HHMMSS。
16
+ seed: 1000 # 随机种子。
17
+ cudnn_deterministic: false # 更稳定可复现,但会慢一点。
18
+ num_workers: 4 # 读数据用的进程数。
19
+ batch_size: 8 # 每张卡上的 batch size。
20
+ prefetch_factor: 4 # 每个读数据进程提前准备多少个 batch。
21
+ persistent_workers: true # 是否让读数据进程常驻。
22
+ steps: 100000 # 总训练步数。
23
+ eval_freq: 10000 # 每隔多少步做一次评测。
24
+ log_freq: 100 # 每隔多少步打一次日志。
25
+ tolerance_s: 1.0e-4 # 视频帧和标注对齐时允许的时间误差。
26
+ save_checkpoint: true # 是否保存 checkpoint。
27
+ save_freq: 10000 # 每隔多少步存一次权重。
28
+ use_policy_training_preset: true # 是否用模型自带的优化器和调度器默认值。
29
+ optimizer: null # 手动指定优化器;一般留空。
30
+ scheduler: null # 手动指定学习率策略;一般留空。
31
+ use_rabc: false # 是否启用 RABC。一般不用。
32
+ rabc_progress_path: null # RABC 用的额外文件路径。一般不用。
33
+ rabc_kappa: 0.01 # RABC 参数。一般不用改。
34
+ rabc_epsilon: 1.0e-6 # RABC 的稳定性参数。一般不用改。
35
+ rabc_head_mode: "sparse" # RABC 模式。一般不用改。
36
+ rename_map: {} # 特征重命名表。一般不用。
37
+
38
+ eval: # 训练中评测设置。
39
+ n_episodes: 50 # 每次评测跑多少条。
40
+ batch_size: 0 # 评测 batch size。0 表示自动。
41
+ use_async_envs: true # 评测环境是否并行异步跑。
42
+
43
+ wandb: # wandb 设置。
44
+ enable: false # 是否启用 wandb。
45
+ disable_artifact: true # 是否禁用向 wandb 上传权重文件。
46
+ project: "lerobot" # wandb 项目名。
47
+ entity: null # wandb 账号或团队名。
48
+ notes: null # wandb 备注。
49
+ run_id: null # wandb run id。
50
+ mode: null # wandb 模式。
51
+ add_tags: true # 是否自动加 wandb 标签。
52
+
53
+ peft: null # PEFT 设置。一般留空。
54
+
55
+ policy: # 模型相关设置。
56
+ type: "multi_task_dit" # 模型类型。
57
+ n_obs_steps: 2 # 一次预测会看几帧观测。
58
+ input_features: {} # 手动指定输入特征。一般不用。
59
+ output_features: {} # 手动指定输出特征。一般不用。
60
+ device: "cuda" # 运行设备。
61
+ use_amp: false # 是否启用混合精度。
62
+ use_peft: false # 是否启用 PEFT。
63
+ push_to_hub: false # 是否上传到 Hugging Face。
64
+ repo_id: null # 上传时用的仓库名。
65
+ private: null # 上传仓库是否私有。
66
+ tags: null # 上传时的标签。
67
+ license: null # 上传时的 license。
68
+ pretrained_path: null # 通常从头训(填 null)或填本地/LeRobot checkpoint。二阶段微调请改为上一 run 的 <policy_name>_YYYYMMDD_HHMMSS/checkpoints/<step>/pretrained_model 路径。
69
+ horizon: 32 # 模型内部预测的总长度。
70
+ n_action_steps: 24 # 每次真正执行多少步动作。
71
+ objective: "diffusion" # 训练目标类型。
72
+ noise_scheduler_type: "DDPM" # 噪声调度器类型。
73
+ num_train_timesteps: 100 # 训练时的扩散步数。
74
+ beta_schedule: "squaredcos_cap_v2" # beta 调度方式。
75
+ beta_start: 1.0e-4 # beta 起始值。
76
+ beta_end: 0.02 # beta 结束值。
77
+ prediction_type: "epsilon" # 模型预测什么目标。
78
+ clip_sample: true # 是否裁剪去噪结果。
79
+ clip_sample_range: 1.0 # 裁剪范围。
80
+ num_inference_steps: null # 推理时去噪多少步;不填就用默认。
81
+ sigma_min: 0.0 # 最小 sigma。
82
+ num_integration_steps: 100 # 积分步数。
83
+ integration_method: "euler" # 积分方法。
84
+ timestep_sampling_strategy: "beta" # 时间步采样策略。
85
+ timestep_sampling_s: 0.999 # 时间步采样参数 s。
86
+ timestep_sampling_alpha: 1.5 # 时间步采样 alpha。
87
+ timestep_sampling_beta: 1.0 # 时间步采样 beta。
88
+ hidden_dim: 512 # 主隐藏维度。
89
+ num_layers: 6 # 层数。
90
+ num_heads: 8 # 注意力头数。
91
+ dropout: 0.1 # dropout 比例。
92
+ use_positional_encoding: false # 是否启用位置编码。
93
+ timestep_embed_dim: 256 # 时间嵌入维度。
94
+ use_rope: true # 是否启用 RoPE。
95
+ rope_base: 10000.0 # RoPE base。
96
+ vision_encoder_name: "openai/clip-vit-base-patch16" # 视觉编码器模型名。
97
+ use_separate_rgb_encoder_per_camera: false # 每个相机是否单独编码。
98
+ vision_encoder_lr_multiplier: 0.1 # 视觉编码器学习率倍率。
99
+ image_resize_shape: null # 图像先 resize 到多大。
100
+ image_crop_shape: [224, 224] # 图像 crop 尺寸。
101
+ image_crop_is_random: true # 是否随机 crop。
102
+ text_encoder_name: "openai/clip-vit-base-patch16" # 文本编码器模型名。
103
+ tokenizer_max_length: 77 # 文本最大长度。
104
+ tokenizer_padding: "max_length" # padding 模式。
105
+ tokenizer_padding_side: "right" # padding 方向。
106
+ tokenizer_truncation: true # 是否截断过长文本。
107
+ normalization_mapping: # 不同输入的归一化方式。
108
+ VISUAL: "MEAN_STD" # 图像怎么归一化。
109
+ STATE: "MIN_MAX" # 状态怎么归一化。
110
+ ACTION: "MIN_MAX" # 动作怎么归一化。
111
+ optimizer_lr: 2.0e-5 # 主学习率。
112
+ optimizer_betas: [0.95, 0.999] # 优化器 beta 参数。
113
+ optimizer_eps: 1.0e-8 # 优化器 epsilon。
114
+ optimizer_weight_decay: 0.0 # weight decay。
115
+ scheduler_name: "cosine" # 学习率策略。
116
+ scheduler_warmup_steps: 0 # warmup 步数。
117
+ do_mask_loss_for_padding: false # 算 loss 时是否忽略 padding。
118
+ drop_n_last_frames: null # 训练时丢掉最后几帧,减少 padding 影响。
50_demos/multi_task_dit/checkpoints/checkpoint-15K/provenance/training_step.json ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ {
2
+ "step": 15000
3
+ }