Kuavo 50 demos: multi_task_dit checkpoint 15K
Browse files- 50_demos/multi_task_dit/checkpoints/checkpoint-15K/README.md +8 -0
- 50_demos/multi_task_dit/checkpoints/checkpoint-15K/checkpoint_manifest.json +144 -0
- 50_demos/multi_task_dit/checkpoints/checkpoint-15K/pretrained_model/config.json +110 -0
- 50_demos/multi_task_dit/checkpoints/checkpoint-15K/pretrained_model/model.safetensors +3 -0
- 50_demos/multi_task_dit/checkpoints/checkpoint-15K/pretrained_model/policy_postprocessor.json +32 -0
- 50_demos/multi_task_dit/checkpoints/checkpoint-15K/pretrained_model/policy_postprocessor_step_0_unnormalizer_processor.safetensors +3 -0
- 50_demos/multi_task_dit/checkpoints/checkpoint-15K/pretrained_model/policy_preprocessor.json +83 -0
- 50_demos/multi_task_dit/checkpoints/checkpoint-15K/pretrained_model/policy_preprocessor_step_4_normalizer_processor.safetensors +3 -0
- 50_demos/multi_task_dit/checkpoints/checkpoint-15K/pretrained_model/train_config.json +249 -0
- 50_demos/multi_task_dit/checkpoints/checkpoint-15K/provenance/CONTRACT.md +101 -0
- 50_demos/multi_task_dit/checkpoints/checkpoint-15K/provenance/compat.py +66 -0
- 50_demos/multi_task_dit/checkpoints/checkpoint-15K/provenance/data_manifest.json +0 -0
- 50_demos/multi_task_dit/checkpoints/checkpoint-15K/provenance/effective_train_config.json +211 -0
- 50_demos/multi_task_dit/checkpoints/checkpoint-15K/provenance/model_assets.json +9 -0
- 50_demos/multi_task_dit/checkpoints/checkpoint-15K/provenance/policy.yaml +32 -0
- 50_demos/multi_task_dit/checkpoints/checkpoint-15K/provenance/total.yaml +118 -0
- 50_demos/multi_task_dit/checkpoints/checkpoint-15K/provenance/training_step.json +3 -0
50_demos/multi_task_dit/checkpoints/checkpoint-15K/README.md
ADDED
|
@@ -0,0 +1,8 @@
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 1 |
+
# multi_task_dit Kuavo 50 demos — 15000 updates
|
| 2 |
+
|
| 3 |
+
Deployable policy checkpoint: current state 20D, action 23D, 10Hz, seed 42, global batch 64.
|
| 4 |
+
The original training_state stays on KT; optimizer/RNG state is not published.
|
| 5 |
+
SmolVLA and Pi0.5 contain LoRA adapters and require their original base model. Use the pinned base/tokenizer revisions in provenance/model_assets.json.
|
| 6 |
+
Load the policy and BOTH processors from pretrained_model/. Apply provenance/compat.py install(policy) for GR00T language processing; GR00T and DiT require letterbox224 camera preprocessing. See provenance/CONTRACT.md for full input/action semantics.
|
| 7 |
+
Adapter base paths are HF repository IDs; no base weights are duplicated here. Fetch the pinned base snapshot before constructing the policy and applying the adapter.
|
| 8 |
+
This is an offline training artifact; no robot rollout validation is implied.
|
50_demos/multi_task_dit/checkpoints/checkpoint-15K/checkpoint_manifest.json
ADDED
|
@@ -0,0 +1,144 @@
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 1 |
+
{
|
| 2 |
+
"schema": 1,
|
| 3 |
+
"policy": "multi_task_dit",
|
| 4 |
+
"step": 15000,
|
| 5 |
+
"repo_id": "RwH-Lab/Kuavo_ckpt",
|
| 6 |
+
"remote_prefix": "50_demos/multi_task_dit/checkpoints/checkpoint-15K",
|
| 7 |
+
"source_checkpoint": "/home/work/mntvol/RwH-Kuavo_ckpt/50_demos/multi_task_dit/checkpoints/015000",
|
| 8 |
+
"production_run": "/home/work/mntvol/RwH-Kuavo_ckpt/50_demos/_runs/full_20261025_235828",
|
| 9 |
+
"source_signature": {
|
| 10 |
+
"pretrained_model/config.json": [
|
| 11 |
+
2776,
|
| 12 |
+
1792955555018478206
|
| 13 |
+
],
|
| 14 |
+
"pretrained_model/model.safetensors": [
|
| 15 |
+
1110874532,
|
| 16 |
+
1792955556627304805
|
| 17 |
+
],
|
| 18 |
+
"pretrained_model/policy_postprocessor.json": [
|
| 19 |
+
659,
|
| 20 |
+
1792955526292184636
|
| 21 |
+
],
|
| 22 |
+
"pretrained_model/policy_postprocessor_step_0_unnormalizer_processor.safetensors": [
|
| 23 |
+
17412,
|
| 24 |
+
1792955556713322343
|
| 25 |
+
],
|
| 26 |
+
"pretrained_model/policy_preprocessor.json": [
|
| 27 |
+
1802,
|
| 28 |
+
1792955526270588285
|
| 29 |
+
],
|
| 30 |
+
"pretrained_model/policy_preprocessor_step_4_normalizer_processor.safetensors": [
|
| 31 |
+
17412,
|
| 32 |
+
1792955526266986284
|
| 33 |
+
],
|
| 34 |
+
"pretrained_model/train_config.json": [
|
| 35 |
+
7165,
|
| 36 |
+
1792955556685363741
|
| 37 |
+
],
|
| 38 |
+
"training_state/optimizer_param_groups.json": [
|
| 39 |
+
5341,
|
| 40 |
+
1792955561072050458
|
| 41 |
+
],
|
| 42 |
+
"training_state/optimizer_state.safetensors": [
|
| 43 |
+
1716334020,
|
| 44 |
+
1792955528755374365
|
| 45 |
+
],
|
| 46 |
+
"training_state/rng_state.safetensors": [
|
| 47 |
+
15708,
|
| 48 |
+
1792955526301982905
|
| 49 |
+
],
|
| 50 |
+
"training_state/scheduler_state.json": [
|
| 51 |
+
332,
|
| 52 |
+
1792955561076646217
|
| 53 |
+
],
|
| 54 |
+
"training_state/training_step.json": [
|
| 55 |
+
21,
|
| 56 |
+
1792955556722559800
|
| 57 |
+
]
|
| 58 |
+
},
|
| 59 |
+
"tensor_count": 765,
|
| 60 |
+
"artifact_kind": "full_policy",
|
| 61 |
+
"training_state_included": false,
|
| 62 |
+
"files": {
|
| 63 |
+
"README.md": {
|
| 64 |
+
"size": 871,
|
| 65 |
+
"sha256": "c5cb1acc5f42215fee0fad0a13990451c10d4b5199714734932cf8dce1e57d0b",
|
| 66 |
+
"git_blob_sha1": "88eb0658cf9b7f7ebea2cea121419bc3e6cfbb4c"
|
| 67 |
+
},
|
| 68 |
+
"pretrained_model/config.json": {
|
| 69 |
+
"size": 2776,
|
| 70 |
+
"sha256": "fa3ed472c1690835a3e95ae54c1842e78c98910c875a6429fb93cf7c1acfae19",
|
| 71 |
+
"git_blob_sha1": "92f145d5b81a4c3a83e245672b76c3d0db6d2366"
|
| 72 |
+
},
|
| 73 |
+
"pretrained_model/model.safetensors": {
|
| 74 |
+
"size": 1110874532,
|
| 75 |
+
"sha256": "6a7d714e37e2ba2001910a3b2c067c1e05b54ffdd086b66aee99c46cf00ffefa",
|
| 76 |
+
"git_blob_sha1": "58a0ebe2ed85bd4813cbe9b3ecde8e74439c3979"
|
| 77 |
+
},
|
| 78 |
+
"pretrained_model/policy_postprocessor.json": {
|
| 79 |
+
"size": 659,
|
| 80 |
+
"sha256": "f953e66e6857340ed76934257dcf9e00b18a12a865b0f4f2b332d1a285839dad",
|
| 81 |
+
"git_blob_sha1": "4c44db41a739258cef9f98302259f9b0d15a501f"
|
| 82 |
+
},
|
| 83 |
+
"pretrained_model/policy_postprocessor_step_0_unnormalizer_processor.safetensors": {
|
| 84 |
+
"size": 17412,
|
| 85 |
+
"sha256": "c112eacee7fadecc764bace19aa5d04a453b4ecd61201ed1e2bafdf6301142f6",
|
| 86 |
+
"git_blob_sha1": "4f7a8abca8c10728d6a415204a829288a565b85e"
|
| 87 |
+
},
|
| 88 |
+
"pretrained_model/policy_preprocessor.json": {
|
| 89 |
+
"size": 1802,
|
| 90 |
+
"sha256": "a4c69acf3ee93a8d476198e74541a1b7d2b36d763c1a8d0aab750eb77b093b84",
|
| 91 |
+
"git_blob_sha1": "5c99efba307f2c328f5aa2c7054edab695185653"
|
| 92 |
+
},
|
| 93 |
+
"pretrained_model/policy_preprocessor_step_4_normalizer_processor.safetensors": {
|
| 94 |
+
"size": 17412,
|
| 95 |
+
"sha256": "c112eacee7fadecc764bace19aa5d04a453b4ecd61201ed1e2bafdf6301142f6",
|
| 96 |
+
"git_blob_sha1": "4f7a8abca8c10728d6a415204a829288a565b85e"
|
| 97 |
+
},
|
| 98 |
+
"pretrained_model/train_config.json": {
|
| 99 |
+
"size": 7165,
|
| 100 |
+
"sha256": "9bdaedf34f142ae2d0df43b04e18c03d4c3135f51dda3a696d79e83466217117",
|
| 101 |
+
"git_blob_sha1": "3758816f29f4235f1fcca04c24a094404077ff85"
|
| 102 |
+
},
|
| 103 |
+
"provenance/CONTRACT.md": {
|
| 104 |
+
"size": 7411,
|
| 105 |
+
"sha256": "945b0aecf29544d7a9cb932f32ad66e1d8689ccd361a646315ec0fe10c1e170b",
|
| 106 |
+
"git_blob_sha1": "db1d4a951d0932e0311e68f660990d813ee73e99"
|
| 107 |
+
},
|
| 108 |
+
"provenance/compat.py": {
|
| 109 |
+
"size": 2767,
|
| 110 |
+
"sha256": "4bebdd8618d8f8806a9ef1e4397a868d383f0573de1bdce8397166b6cafca1e6",
|
| 111 |
+
"git_blob_sha1": "7651f0ee18e56450856d5da1df501b6e51f59f6e"
|
| 112 |
+
},
|
| 113 |
+
"provenance/data_manifest.json": {
|
| 114 |
+
"size": 99989,
|
| 115 |
+
"sha256": "6cd80d70cea7dfd4792f2e0adbc0a539a6437895f05205776b10c505e80a8d28",
|
| 116 |
+
"git_blob_sha1": "12251fc7bb48ac67addacb9ba97835764360e6e6"
|
| 117 |
+
},
|
| 118 |
+
"provenance/effective_train_config.json": {
|
| 119 |
+
"size": 4990,
|
| 120 |
+
"sha256": "341f50f3e33cd0bbc3f682938fcd5820727b83550babbaae7b6f57d75a142610",
|
| 121 |
+
"git_blob_sha1": "b8a8ee3487be658df9c8120c63d9aa03e3858920"
|
| 122 |
+
},
|
| 123 |
+
"provenance/model_assets.json": {
|
| 124 |
+
"size": 543,
|
| 125 |
+
"sha256": "f84a535ecc5152c98c05bba8919147faef93a8a465f01a2a0a09581151553701",
|
| 126 |
+
"git_blob_sha1": "abfad3e3a6d43b57f5e11550d628521f39f4b3ae"
|
| 127 |
+
},
|
| 128 |
+
"provenance/policy.yaml": {
|
| 129 |
+
"size": 874,
|
| 130 |
+
"sha256": "da08ffcbdbbca2f919ebf56019381e6f9218c12190db40bf92f180e128cebb7a",
|
| 131 |
+
"git_blob_sha1": "d997d01aacd4098b7a3e61cf1191fa63fb0e6565"
|
| 132 |
+
},
|
| 133 |
+
"provenance/total.yaml": {
|
| 134 |
+
"size": 6499,
|
| 135 |
+
"sha256": "45b92a3935b04e13f531839e414e586f195422925d33f02b15c9615dce77c310",
|
| 136 |
+
"git_blob_sha1": "a1cd3d6af83ded29518089384c7840b4ea9e4986"
|
| 137 |
+
},
|
| 138 |
+
"provenance/training_step.json": {
|
| 139 |
+
"size": 21,
|
| 140 |
+
"sha256": "5d731361457b999e8a2bc8904308a37f1d219975360eaddb65c144e47846f90f",
|
| 141 |
+
"git_blob_sha1": "5cec056c8ba7f3c2e865a0f73ae59975a0503067"
|
| 142 |
+
}
|
| 143 |
+
}
|
| 144 |
+
}
|
50_demos/multi_task_dit/checkpoints/checkpoint-15K/pretrained_model/config.json
ADDED
|
@@ -0,0 +1,110 @@
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 1 |
+
{
|
| 2 |
+
"type": "multi_task_dit",
|
| 3 |
+
"n_obs_steps": 2,
|
| 4 |
+
"input_features": {
|
| 5 |
+
"observation.images.head": {
|
| 6 |
+
"type": "VISUAL",
|
| 7 |
+
"shape": [
|
| 8 |
+
3,
|
| 9 |
+
224,
|
| 10 |
+
224
|
| 11 |
+
]
|
| 12 |
+
},
|
| 13 |
+
"observation.images.left_wrist": {
|
| 14 |
+
"type": "VISUAL",
|
| 15 |
+
"shape": [
|
| 16 |
+
3,
|
| 17 |
+
224,
|
| 18 |
+
224
|
| 19 |
+
]
|
| 20 |
+
},
|
| 21 |
+
"observation.images.right_wrist": {
|
| 22 |
+
"type": "VISUAL",
|
| 23 |
+
"shape": [
|
| 24 |
+
3,
|
| 25 |
+
224,
|
| 26 |
+
224
|
| 27 |
+
]
|
| 28 |
+
},
|
| 29 |
+
"observation.state": {
|
| 30 |
+
"type": "STATE",
|
| 31 |
+
"shape": [
|
| 32 |
+
20
|
| 33 |
+
]
|
| 34 |
+
}
|
| 35 |
+
},
|
| 36 |
+
"output_features": {
|
| 37 |
+
"action": {
|
| 38 |
+
"type": "ACTION",
|
| 39 |
+
"shape": [
|
| 40 |
+
23
|
| 41 |
+
]
|
| 42 |
+
}
|
| 43 |
+
},
|
| 44 |
+
"device": "cuda",
|
| 45 |
+
"use_amp": false,
|
| 46 |
+
"use_peft": false,
|
| 47 |
+
"push_to_hub": false,
|
| 48 |
+
"repo_id": null,
|
| 49 |
+
"private": null,
|
| 50 |
+
"tags": null,
|
| 51 |
+
"license": null,
|
| 52 |
+
"pretrained_path": null,
|
| 53 |
+
"horizon": 32,
|
| 54 |
+
"n_action_steps": 24,
|
| 55 |
+
"objective": "diffusion",
|
| 56 |
+
"noise_scheduler_type": "DDPM",
|
| 57 |
+
"num_train_timesteps": 100,
|
| 58 |
+
"beta_schedule": "squaredcos_cap_v2",
|
| 59 |
+
"beta_start": 0.0001,
|
| 60 |
+
"beta_end": 0.02,
|
| 61 |
+
"prediction_type": "epsilon",
|
| 62 |
+
"clip_sample": true,
|
| 63 |
+
"clip_sample_range": 1.0,
|
| 64 |
+
"num_inference_steps": null,
|
| 65 |
+
"sigma_min": 0.0,
|
| 66 |
+
"num_integration_steps": 100,
|
| 67 |
+
"integration_method": "euler",
|
| 68 |
+
"timestep_sampling_strategy": "beta",
|
| 69 |
+
"timestep_sampling_s": 0.999,
|
| 70 |
+
"timestep_sampling_alpha": 1.5,
|
| 71 |
+
"timestep_sampling_beta": 1.0,
|
| 72 |
+
"hidden_dim": 512,
|
| 73 |
+
"num_layers": 6,
|
| 74 |
+
"num_heads": 8,
|
| 75 |
+
"dropout": 0.1,
|
| 76 |
+
"use_positional_encoding": false,
|
| 77 |
+
"timestep_embed_dim": 256,
|
| 78 |
+
"use_rope": true,
|
| 79 |
+
"rope_base": 10000.0,
|
| 80 |
+
"vision_encoder_name": "openai/clip-vit-base-patch16",
|
| 81 |
+
"use_separate_rgb_encoder_per_camera": false,
|
| 82 |
+
"vision_encoder_lr_multiplier": 0.1,
|
| 83 |
+
"image_resize_shape": null,
|
| 84 |
+
"image_crop_shape": [
|
| 85 |
+
224,
|
| 86 |
+
224
|
| 87 |
+
],
|
| 88 |
+
"image_crop_is_random": true,
|
| 89 |
+
"text_encoder_name": "openai/clip-vit-base-patch16",
|
| 90 |
+
"tokenizer_max_length": 77,
|
| 91 |
+
"tokenizer_padding": "max_length",
|
| 92 |
+
"tokenizer_padding_side": "right",
|
| 93 |
+
"tokenizer_truncation": true,
|
| 94 |
+
"normalization_mapping": {
|
| 95 |
+
"VISUAL": "MEAN_STD",
|
| 96 |
+
"STATE": "MIN_MAX",
|
| 97 |
+
"ACTION": "MIN_MAX"
|
| 98 |
+
},
|
| 99 |
+
"optimizer_lr": 2e-05,
|
| 100 |
+
"optimizer_betas": [
|
| 101 |
+
0.95,
|
| 102 |
+
0.999
|
| 103 |
+
],
|
| 104 |
+
"optimizer_eps": 1e-08,
|
| 105 |
+
"optimizer_weight_decay": 0.0,
|
| 106 |
+
"scheduler_name": "cosine",
|
| 107 |
+
"scheduler_warmup_steps": 0,
|
| 108 |
+
"do_mask_loss_for_padding": false,
|
| 109 |
+
"drop_n_last_frames": 7
|
| 110 |
+
}
|
50_demos/multi_task_dit/checkpoints/checkpoint-15K/pretrained_model/model.safetensors
ADDED
|
@@ -0,0 +1,3 @@
|
|
|
|
|
|
|
|
|
|
|
|
|
| 1 |
+
version https://git-lfs.github.com/spec/v1
|
| 2 |
+
oid sha256:6a7d714e37e2ba2001910a3b2c067c1e05b54ffdd086b66aee99c46cf00ffefa
|
| 3 |
+
size 1110874532
|
50_demos/multi_task_dit/checkpoints/checkpoint-15K/pretrained_model/policy_postprocessor.json
ADDED
|
@@ -0,0 +1,32 @@
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 1 |
+
{
|
| 2 |
+
"name": "policy_postprocessor",
|
| 3 |
+
"steps": [
|
| 4 |
+
{
|
| 5 |
+
"registry_name": "unnormalizer_processor",
|
| 6 |
+
"config": {
|
| 7 |
+
"eps": 1e-08,
|
| 8 |
+
"features": {
|
| 9 |
+
"action": {
|
| 10 |
+
"type": "ACTION",
|
| 11 |
+
"shape": [
|
| 12 |
+
23
|
| 13 |
+
]
|
| 14 |
+
}
|
| 15 |
+
},
|
| 16 |
+
"norm_map": {
|
| 17 |
+
"VISUAL": "MEAN_STD",
|
| 18 |
+
"STATE": "MIN_MAX",
|
| 19 |
+
"ACTION": "MIN_MAX"
|
| 20 |
+
}
|
| 21 |
+
},
|
| 22 |
+
"state_file": "policy_postprocessor_step_0_unnormalizer_processor.safetensors"
|
| 23 |
+
},
|
| 24 |
+
{
|
| 25 |
+
"registry_name": "device_processor",
|
| 26 |
+
"config": {
|
| 27 |
+
"device": "cpu",
|
| 28 |
+
"float_dtype": null
|
| 29 |
+
}
|
| 30 |
+
}
|
| 31 |
+
]
|
| 32 |
+
}
|
50_demos/multi_task_dit/checkpoints/checkpoint-15K/pretrained_model/policy_postprocessor_step_0_unnormalizer_processor.safetensors
ADDED
|
@@ -0,0 +1,3 @@
|
|
|
|
|
|
|
|
|
|
|
|
|
| 1 |
+
version https://git-lfs.github.com/spec/v1
|
| 2 |
+
oid sha256:c112eacee7fadecc764bace19aa5d04a453b4ecd61201ed1e2bafdf6301142f6
|
| 3 |
+
size 17412
|
50_demos/multi_task_dit/checkpoints/checkpoint-15K/pretrained_model/policy_preprocessor.json
ADDED
|
@@ -0,0 +1,83 @@
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 1 |
+
{
|
| 2 |
+
"name": "policy_preprocessor",
|
| 3 |
+
"steps": [
|
| 4 |
+
{
|
| 5 |
+
"registry_name": "rename_observations_processor",
|
| 6 |
+
"config": {
|
| 7 |
+
"rename_map": {}
|
| 8 |
+
}
|
| 9 |
+
},
|
| 10 |
+
{
|
| 11 |
+
"registry_name": "to_batch_processor",
|
| 12 |
+
"config": {}
|
| 13 |
+
},
|
| 14 |
+
{
|
| 15 |
+
"registry_name": "tokenizer_processor",
|
| 16 |
+
"config": {
|
| 17 |
+
"max_length": 77,
|
| 18 |
+
"task_key": "task",
|
| 19 |
+
"padding_side": "right",
|
| 20 |
+
"padding": "max_length",
|
| 21 |
+
"truncation": true,
|
| 22 |
+
"tokenizer_name": "openai/clip-vit-base-patch16"
|
| 23 |
+
}
|
| 24 |
+
},
|
| 25 |
+
{
|
| 26 |
+
"registry_name": "device_processor",
|
| 27 |
+
"config": {
|
| 28 |
+
"device": "cuda",
|
| 29 |
+
"float_dtype": null
|
| 30 |
+
}
|
| 31 |
+
},
|
| 32 |
+
{
|
| 33 |
+
"registry_name": "normalizer_processor",
|
| 34 |
+
"config": {
|
| 35 |
+
"eps": 1e-08,
|
| 36 |
+
"features": {
|
| 37 |
+
"observation.images.head": {
|
| 38 |
+
"type": "VISUAL",
|
| 39 |
+
"shape": [
|
| 40 |
+
3,
|
| 41 |
+
224,
|
| 42 |
+
224
|
| 43 |
+
]
|
| 44 |
+
},
|
| 45 |
+
"observation.images.left_wrist": {
|
| 46 |
+
"type": "VISUAL",
|
| 47 |
+
"shape": [
|
| 48 |
+
3,
|
| 49 |
+
224,
|
| 50 |
+
224
|
| 51 |
+
]
|
| 52 |
+
},
|
| 53 |
+
"observation.images.right_wrist": {
|
| 54 |
+
"type": "VISUAL",
|
| 55 |
+
"shape": [
|
| 56 |
+
3,
|
| 57 |
+
224,
|
| 58 |
+
224
|
| 59 |
+
]
|
| 60 |
+
},
|
| 61 |
+
"observation.state": {
|
| 62 |
+
"type": "STATE",
|
| 63 |
+
"shape": [
|
| 64 |
+
20
|
| 65 |
+
]
|
| 66 |
+
},
|
| 67 |
+
"action": {
|
| 68 |
+
"type": "ACTION",
|
| 69 |
+
"shape": [
|
| 70 |
+
23
|
| 71 |
+
]
|
| 72 |
+
}
|
| 73 |
+
},
|
| 74 |
+
"norm_map": {
|
| 75 |
+
"VISUAL": "MEAN_STD",
|
| 76 |
+
"STATE": "MIN_MAX",
|
| 77 |
+
"ACTION": "MIN_MAX"
|
| 78 |
+
}
|
| 79 |
+
},
|
| 80 |
+
"state_file": "policy_preprocessor_step_4_normalizer_processor.safetensors"
|
| 81 |
+
}
|
| 82 |
+
]
|
| 83 |
+
}
|
50_demos/multi_task_dit/checkpoints/checkpoint-15K/pretrained_model/policy_preprocessor_step_4_normalizer_processor.safetensors
ADDED
|
@@ -0,0 +1,3 @@
|
|
|
|
|
|
|
|
|
|
|
|
|
| 1 |
+
version https://git-lfs.github.com/spec/v1
|
| 2 |
+
oid sha256:c112eacee7fadecc764bace19aa5d04a453b4ecd61201ed1e2bafdf6301142f6
|
| 3 |
+
size 17412
|
50_demos/multi_task_dit/checkpoints/checkpoint-15K/pretrained_model/train_config.json
ADDED
|
@@ -0,0 +1,249 @@
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 1 |
+
{
|
| 2 |
+
"dataset": {
|
| 3 |
+
"repo_id": "RwH-Lab/kuavo-skill-50demos-10hz-state20-futuretorso",
|
| 4 |
+
"root": "/home/work/mntvol/data/RwH-Kuavo-v2/50_demos/skill_10hz_state20_futuretorso_policy_chunks",
|
| 5 |
+
"episodes": null,
|
| 6 |
+
"image_transforms": {
|
| 7 |
+
"enable": false,
|
| 8 |
+
"max_num_transforms": 3,
|
| 9 |
+
"random_order": false,
|
| 10 |
+
"tfs": {
|
| 11 |
+
"brightness": {
|
| 12 |
+
"weight": 1.0,
|
| 13 |
+
"type": "ColorJitter",
|
| 14 |
+
"kwargs": {
|
| 15 |
+
"brightness": [
|
| 16 |
+
0.8,
|
| 17 |
+
1.2
|
| 18 |
+
]
|
| 19 |
+
}
|
| 20 |
+
},
|
| 21 |
+
"contrast": {
|
| 22 |
+
"weight": 1.0,
|
| 23 |
+
"type": "ColorJitter",
|
| 24 |
+
"kwargs": {
|
| 25 |
+
"contrast": [
|
| 26 |
+
0.8,
|
| 27 |
+
1.2
|
| 28 |
+
]
|
| 29 |
+
}
|
| 30 |
+
},
|
| 31 |
+
"saturation": {
|
| 32 |
+
"weight": 1.0,
|
| 33 |
+
"type": "ColorJitter",
|
| 34 |
+
"kwargs": {
|
| 35 |
+
"saturation": [
|
| 36 |
+
0.5,
|
| 37 |
+
1.5
|
| 38 |
+
]
|
| 39 |
+
}
|
| 40 |
+
},
|
| 41 |
+
"hue": {
|
| 42 |
+
"weight": 1.0,
|
| 43 |
+
"type": "ColorJitter",
|
| 44 |
+
"kwargs": {
|
| 45 |
+
"hue": [
|
| 46 |
+
-0.05,
|
| 47 |
+
0.05
|
| 48 |
+
]
|
| 49 |
+
}
|
| 50 |
+
},
|
| 51 |
+
"sharpness": {
|
| 52 |
+
"weight": 1.0,
|
| 53 |
+
"type": "SharpnessJitter",
|
| 54 |
+
"kwargs": {
|
| 55 |
+
"sharpness": [
|
| 56 |
+
0.5,
|
| 57 |
+
1.5
|
| 58 |
+
]
|
| 59 |
+
}
|
| 60 |
+
},
|
| 61 |
+
"affine": {
|
| 62 |
+
"weight": 1.0,
|
| 63 |
+
"type": "RandomAffine",
|
| 64 |
+
"kwargs": {
|
| 65 |
+
"degrees": [
|
| 66 |
+
-5.0,
|
| 67 |
+
5.0
|
| 68 |
+
],
|
| 69 |
+
"translate": [
|
| 70 |
+
0.05,
|
| 71 |
+
0.05
|
| 72 |
+
]
|
| 73 |
+
}
|
| 74 |
+
}
|
| 75 |
+
}
|
| 76 |
+
},
|
| 77 |
+
"revision": null,
|
| 78 |
+
"use_imagenet_stats": true,
|
| 79 |
+
"video_backend": "pyav",
|
| 80 |
+
"return_uint8": false,
|
| 81 |
+
"streaming": false
|
| 82 |
+
},
|
| 83 |
+
"env": null,
|
| 84 |
+
"policy": {
|
| 85 |
+
"type": "multi_task_dit",
|
| 86 |
+
"n_obs_steps": 2,
|
| 87 |
+
"input_features": {
|
| 88 |
+
"observation.images.head": {
|
| 89 |
+
"type": "VISUAL",
|
| 90 |
+
"shape": [
|
| 91 |
+
3,
|
| 92 |
+
224,
|
| 93 |
+
224
|
| 94 |
+
]
|
| 95 |
+
},
|
| 96 |
+
"observation.images.left_wrist": {
|
| 97 |
+
"type": "VISUAL",
|
| 98 |
+
"shape": [
|
| 99 |
+
3,
|
| 100 |
+
224,
|
| 101 |
+
224
|
| 102 |
+
]
|
| 103 |
+
},
|
| 104 |
+
"observation.images.right_wrist": {
|
| 105 |
+
"type": "VISUAL",
|
| 106 |
+
"shape": [
|
| 107 |
+
3,
|
| 108 |
+
224,
|
| 109 |
+
224
|
| 110 |
+
]
|
| 111 |
+
},
|
| 112 |
+
"observation.state": {
|
| 113 |
+
"type": "STATE",
|
| 114 |
+
"shape": [
|
| 115 |
+
20
|
| 116 |
+
]
|
| 117 |
+
}
|
| 118 |
+
},
|
| 119 |
+
"output_features": {
|
| 120 |
+
"action": {
|
| 121 |
+
"type": "ACTION",
|
| 122 |
+
"shape": [
|
| 123 |
+
23
|
| 124 |
+
]
|
| 125 |
+
}
|
| 126 |
+
},
|
| 127 |
+
"device": "cuda",
|
| 128 |
+
"use_amp": false,
|
| 129 |
+
"use_peft": false,
|
| 130 |
+
"push_to_hub": false,
|
| 131 |
+
"repo_id": null,
|
| 132 |
+
"private": null,
|
| 133 |
+
"tags": null,
|
| 134 |
+
"license": null,
|
| 135 |
+
"pretrained_path": null,
|
| 136 |
+
"horizon": 32,
|
| 137 |
+
"n_action_steps": 24,
|
| 138 |
+
"objective": "diffusion",
|
| 139 |
+
"noise_scheduler_type": "DDPM",
|
| 140 |
+
"num_train_timesteps": 100,
|
| 141 |
+
"beta_schedule": "squaredcos_cap_v2",
|
| 142 |
+
"beta_start": 0.0001,
|
| 143 |
+
"beta_end": 0.02,
|
| 144 |
+
"prediction_type": "epsilon",
|
| 145 |
+
"clip_sample": true,
|
| 146 |
+
"clip_sample_range": 1.0,
|
| 147 |
+
"num_inference_steps": null,
|
| 148 |
+
"sigma_min": 0.0,
|
| 149 |
+
"num_integration_steps": 100,
|
| 150 |
+
"integration_method": "euler",
|
| 151 |
+
"timestep_sampling_strategy": "beta",
|
| 152 |
+
"timestep_sampling_s": 0.999,
|
| 153 |
+
"timestep_sampling_alpha": 1.5,
|
| 154 |
+
"timestep_sampling_beta": 1.0,
|
| 155 |
+
"hidden_dim": 512,
|
| 156 |
+
"num_layers": 6,
|
| 157 |
+
"num_heads": 8,
|
| 158 |
+
"dropout": 0.1,
|
| 159 |
+
"use_positional_encoding": false,
|
| 160 |
+
"timestep_embed_dim": 256,
|
| 161 |
+
"use_rope": true,
|
| 162 |
+
"rope_base": 10000.0,
|
| 163 |
+
"vision_encoder_name": "openai/clip-vit-base-patch16",
|
| 164 |
+
"use_separate_rgb_encoder_per_camera": false,
|
| 165 |
+
"vision_encoder_lr_multiplier": 0.1,
|
| 166 |
+
"image_resize_shape": null,
|
| 167 |
+
"image_crop_shape": [
|
| 168 |
+
224,
|
| 169 |
+
224
|
| 170 |
+
],
|
| 171 |
+
"image_crop_is_random": true,
|
| 172 |
+
"text_encoder_name": "openai/clip-vit-base-patch16",
|
| 173 |
+
"tokenizer_max_length": 77,
|
| 174 |
+
"tokenizer_padding": "max_length",
|
| 175 |
+
"tokenizer_padding_side": "right",
|
| 176 |
+
"tokenizer_truncation": true,
|
| 177 |
+
"normalization_mapping": {
|
| 178 |
+
"VISUAL": "MEAN_STD",
|
| 179 |
+
"STATE": "MIN_MAX",
|
| 180 |
+
"ACTION": "MIN_MAX"
|
| 181 |
+
},
|
| 182 |
+
"optimizer_lr": 2e-05,
|
| 183 |
+
"optimizer_betas": [
|
| 184 |
+
0.95,
|
| 185 |
+
0.999
|
| 186 |
+
],
|
| 187 |
+
"optimizer_eps": 1e-08,
|
| 188 |
+
"optimizer_weight_decay": 0.0,
|
| 189 |
+
"scheduler_name": "cosine",
|
| 190 |
+
"scheduler_warmup_steps": 0,
|
| 191 |
+
"do_mask_loss_for_padding": false,
|
| 192 |
+
"drop_n_last_frames": 7
|
| 193 |
+
},
|
| 194 |
+
"output_dir": "/home/work/mntvol/RwH-Kuavo_ckpt/50_demos/multi_task_dit",
|
| 195 |
+
"job_name": "rwh_50demos_multi_task_dit",
|
| 196 |
+
"resume": false,
|
| 197 |
+
"seed": 42,
|
| 198 |
+
"cudnn_deterministic": false,
|
| 199 |
+
"num_workers": 4,
|
| 200 |
+
"batch_size": 64,
|
| 201 |
+
"prefetch_factor": 4,
|
| 202 |
+
"persistent_workers": true,
|
| 203 |
+
"steps": 20000,
|
| 204 |
+
"eval_freq": 0,
|
| 205 |
+
"log_freq": 100,
|
| 206 |
+
"tolerance_s": 0.0001,
|
| 207 |
+
"save_checkpoint": true,
|
| 208 |
+
"save_freq": 5000,
|
| 209 |
+
"use_policy_training_preset": true,
|
| 210 |
+
"optimizer": {
|
| 211 |
+
"type": "adam",
|
| 212 |
+
"lr": 2e-05,
|
| 213 |
+
"weight_decay": 0.0,
|
| 214 |
+
"grad_clip_norm": 10.0,
|
| 215 |
+
"betas": [
|
| 216 |
+
0.95,
|
| 217 |
+
0.999
|
| 218 |
+
],
|
| 219 |
+
"eps": 1e-08
|
| 220 |
+
},
|
| 221 |
+
"scheduler": {
|
| 222 |
+
"type": "diffuser",
|
| 223 |
+
"num_warmup_steps": 0,
|
| 224 |
+
"name": "cosine"
|
| 225 |
+
},
|
| 226 |
+
"eval": {
|
| 227 |
+
"n_episodes": 50,
|
| 228 |
+
"batch_size": 50,
|
| 229 |
+
"use_async_envs": true
|
| 230 |
+
},
|
| 231 |
+
"wandb": {
|
| 232 |
+
"enable": false,
|
| 233 |
+
"disable_artifact": true,
|
| 234 |
+
"project": "RwH-Kuavo-50demos",
|
| 235 |
+
"entity": null,
|
| 236 |
+
"notes": null,
|
| 237 |
+
"run_id": null,
|
| 238 |
+
"mode": null,
|
| 239 |
+
"add_tags": true
|
| 240 |
+
},
|
| 241 |
+
"peft": null,
|
| 242 |
+
"use_rabc": false,
|
| 243 |
+
"rabc_progress_path": null,
|
| 244 |
+
"rabc_kappa": 0.01,
|
| 245 |
+
"rabc_epsilon": 1e-06,
|
| 246 |
+
"rabc_head_mode": "sparse",
|
| 247 |
+
"rename_map": {},
|
| 248 |
+
"checkpoint_path": null
|
| 249 |
+
}
|
50_demos/multi_task_dit/checkpoints/checkpoint-15K/provenance/CONTRACT.md
ADDED
|
@@ -0,0 +1,101 @@
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 1 |
+
# Kuavo 50 demos — 실행 중인 학습 계약
|
| 2 |
+
|
| 3 |
+
사용자 승인에 따라 네 정책의 20k 본학습을 실행했다. 아래는 실행 계약이며, 20k 완료 보고가 아니다.
|
| 4 |
+
|
| 5 |
+
## 경로와 작업
|
| 6 |
+
|
| 7 |
+
- Output root: `/home/work/mntvol/RwH-Kuavo_ckpt/50_demos/`
|
| 8 |
+
- 정책별 출력: `<root>/{smolvla,multi_task_dit,pi05,gr00t}/checkpoints/`
|
| 9 |
+
- 현재 실행 로그·설정: `<root>/_runs/full_20261025_235828/`
|
| 10 |
+
- 현재 데이터·language·실행 검증: `<root>/_audit/policy_windows_20261025_235658/`
|
| 11 |
+
- tmux: `rwh-50demos-20261025-233840`
|
| 12 |
+
- 설정/코드: `/home/work/workspace/RwH-Kuavo_V2/RwH/configs/50_demos/`
|
| 13 |
+
- Notion: https://app.notion.com/p/40463918d42a80d18dd6c5d872c3f212
|
| 14 |
+
- GPU 1: Pi0.5. GPU 2: GR00T N1.5. GPU 3: SmolVLA + MultiTask-DiT 동시 실행.
|
| 15 |
+
- 정책마다 독립 프로세스이며 각각 global batch 64다. GPU 0은 사용하지 않는다.
|
| 16 |
+
- 재실행으로 중복 작업이 생기지 않도록 active tmux session 검사와 launch lock을 추가했다.
|
| 17 |
+
|
| 18 |
+
## 공통 계약
|
| 19 |
+
|
| 20 |
+
- fps 10, seed 42, batch 64, accumulation 1, steps 20,000.
|
| 21 |
+
- checkpoint 5k/10k/15k/20k, optimizer·scheduler state 저장, last symlink.
|
| 22 |
+
- validation split 없음, 환경 eval/rollout 없음. 로컬 로그 사용, W&B 비활성화.
|
| 23 |
+
- 현재 launcher는 fresh run용이다. 자동 재개/자동 실패 복구를 지원하지 않는다.
|
| 24 |
+
- 데이터: `RwH-Lab/kuavo-dataset-skill`, revision `fdb2779c71434db093fe899a2b7c6a6b4804e3d8`.
|
| 25 |
+
- 원본: `/home/work/mntvol/data/RwH-Kuavo-v2/kuavo-dataset-skill` — 50 episodes, 90,820 frames, 30fps, task 7종.
|
| 26 |
+
- 파생: `/home/work/mntvol/data/RwH-Kuavo-v2/50_demos/skill_10hz_state20_futuretorso_policy_chunks` — task 구간 264개, 30,288 frames, 10fps.
|
| 27 |
+
- 원본 episode마다 매 3번째 프레임을 선택한다. task 경계는 샘플링 전에 검출한다.
|
| 28 |
+
- 영상 3개(head/left_wrist/right_wrist)는 원본 30fps mp4 링크를 10Hz 시각으로 디코딩한다. 원본 디렉터리가 필요하다.
|
| 29 |
+
|
| 30 |
+
## State와 action
|
| 31 |
+
|
| 32 |
+
- State 20D: 현재 torso 4 + 양팔 14 + gripper 2. rack 좌표와 base velocity를 state에 넣지 않는다.
|
| 33 |
+
- Action 23D: 다음 실제 torso state 4 + 원본 팔·gripper 명령 16 + 원본 base cmd_vel 3.
|
| 34 |
+
- torso는 모든 episode에서 일관되게 q(t+1)로 대체한다. H개 chunk는 q(t+1)..q(t+H)다.
|
| 35 |
+
- 원본 validity=false이고 저장값이 0인 base 15,263프레임은 합의에 따라 0 명령으로 사용했다.
|
| 36 |
+
- task 마지막 프레임의 torso는 미래 state가 없어 무효 표시하며 학습 시작점/target에 들어가지 않도록 제한한다.
|
| 37 |
+
|
| 38 |
+
## 모델 기본값과 일정
|
| 39 |
+
|
| 40 |
+
| 정책 | 학습 방식 | peak LR | horizon / 실행 길이 |
|
| 41 |
+
|---|---|---:|---|
|
| 42 |
+
| SmolVLA | LoRA r64 | 1e-3 | 50 / 50 |
|
| 43 |
+
| MultiTask-DiT | CLIP pretrained + action 모델 학습 | 2e-5 | 32 / 24 |
|
| 44 |
+
| Pi0.5 | LoRA r16 | 2.5e-4 | 50 / 50 |
|
| 45 |
+
| GR00T N1.5 | LLM·vision freeze, projector·action head 학습 | 1e-4 | 16 / 16 |
|
| 46 |
+
|
| 47 |
+
- DiT: 관측 2개, action offsets -1..30, vision LR 2e-6, text freeze, cosine/warmup 0.
|
| 48 |
+
- 다른 세 정책: warmup 1,000, cosine decay 20,000, 최종 LR=peak의 0.1배.
|
| 49 |
+
- GR00T preset에 고정된 10k scheduler는 20k에 맞춰 명시했다.
|
| 50 |
+
- Pi0.5: bf16, gradient checkpointing, absolute actions, 기본 max-autotune compile 유지.
|
| 51 |
+
- 모델 revision은 `train/model_assets.json`에 기록했고, 본학습은 캐시의 해당 revision을 offline으로 사용한다.
|
| 52 |
+
- LeTools commit `6d2002613241ae2a32c5d8fd753f80caa1383fba`.
|
| 53 |
+
- LeRobot commit `a07f22e22ce88cddff1f6eddced9ea008fbfc37c`.
|
| 54 |
+
|
| 55 |
+
## 정책별 샘플링과 language
|
| 56 |
+
|
| 57 |
+
공통 최대 50프레임 제한을 제거하고 각 정책의 실제 history/예측 offset으로 정했다.
|
| 58 |
+
길이 L인 task 구간에서 시작점은 range(history, L-future)다.
|
| 59 |
+
future는 torso의 한 프레임 앞 target까지 포함한 최대 미래 offset이다.
|
| 60 |
+
|
| 61 |
+
| 정책 | history / future | 시작점 수 | 유효 task 구간 | epoch당 batch | 20k epoch(drop_last) |
|
| 62 |
+
|---|---|---:|---:|---:|---:|
|
| 63 |
+
| SmolVLA | 0 / 50 | 17,680 | 214 / 264 | 276 | 72.46 |
|
| 64 |
+
| Pi0.5 | 0 / 50 | 17,680 | 214 / 264 | 276 | 72.46 |
|
| 65 |
+
| MultiTask-DiT | 1 / 31 | 21,865 | 257 / 264 | 341 | 58.65 |
|
| 66 |
+
| GR00T N1.5 | 0 / 16 | 26,064 | 264 / 264 | 407 | 49.14 |
|
| 67 |
+
|
| 68 |
+
- 각 유효 구간의 마지막 시작점에서 마지막 torso target이 task의 마지막 state와 정확히 일치함을 전수 검사했다.
|
| 69 |
+
- 원본 에피소드 50개와 task 7종은 모두 유지한다. 다만 모델보다 짧은 task 구간에는 유효한 full chunk가 없다.
|
| 70 |
+
- 독립 generator seed=42+epoch, drop_last=true로 각 update의 batch 64를 유지한다. 모델별 시작점 순서는 결정적이다.
|
| 71 |
+
- frame.task_index → meta/tasks.parquet → batch['task']. 별도 subtask_index나 task.language 컬럼은 없다.
|
| 72 |
+
- 원본 90,820개와 파생 30,288개 state의 language 누락·미정의 task index는 0개다.
|
| 73 |
+
- 전체 state의 native 문장 조회, 정책별 모든 시작점의 경계, 실제 processor의 7종 혼합 batch 토큰을 검사했다.
|
| 74 |
+
- 매 batch의 language 연결과 boundary padding을 검사하며 위반하면 update 전에 실패한다.
|
| 75 |
+
|
| 76 |
+
## 필요한 전처리 보정
|
| 77 |
+
|
| 78 |
+
- GR00T·DiT: 서로 다른 카메라 해상도를 비율 보존 224×224 resize/pad로 통일한다.
|
| 79 |
+
- GR00T: batch 첫 task 문장을 재사용하던 upstream processor를 compat.py에서 보정했다.
|
| 80 |
+
- Pi0.5: 베이스 checkpoint의 오래된 processor registry 이름 대신 현재 코드·새 통계로 processor를 구성한다.
|
| 81 |
+
- vendored LeTools는 수정하지 않았다. 반드시 프로젝트 `train/launch.sh`를 통해 실행한다.
|
| 82 |
+
- GR00T 배포에서는 compat.install('gr00t')가 필요하다. GR00T·DiT의 실시간 영상에도 같은 letterbox 처리가 필요하다.
|
| 83 |
+
|
| 84 |
+
## 검증 범위와 실제 제한
|
| 85 |
+
|
| 86 |
+
- `data_validation.json`: 전체 수치 매핑·통계, 영상 33개 이미지 일치, native chunk/history 검사.
|
| 87 |
+
- `language_validation.json`: 모든 state/language, 모든 시작점의 task 경계와 혼합 batch 토큰 검사.
|
| 88 |
+
- `launch_validation.json`: 실제 네 CUDA PID/GPU, 진행 step, finite loss/gradient, effective config, LR/scheduler/seed/output, 모델 revision 검사.
|
| 89 |
+
- 이 검증은 실행 진행 확인이다. 최초 본학습 checkpoint는 5k이며 아직 저장 완료를 확인한 단계는 아니다.
|
| 90 |
+
- 의미상 영상 라벨 재판정, 로봇 rollout 성공률, 20k 수렴은 검증하지 않았다.
|
| 91 |
+
- 수정한 문제: 제가 추가한 공통 50프레임 기준은 짧은 horizon 모델의 task 말미 정답을 누락시켰다. 초기 실행을 종료하고 정책별 기준으로 수정·검증하여 네 정책을 새로 시작했다. 데이터 264개 파일은 이전과 해시가 같다.
|
| 92 |
+
- torso label은 원본 명령의 복원이 아니라 미래 실제 위치를 쓰는 대체 label이다.
|
| 93 |
+
- base 0 합의는 원본 ROSbag을 통한 모든 구간의 실제 정지 입증과 구분한다.
|
| 94 |
+
- 자동 resume는 아직 지원하지 않는다. 재개 시 sampler·normalization·processor 계약을 유지해야 한다.
|
| 95 |
+
|
| 96 |
+
## 테스트 산출물 삭제
|
| 97 |
+
|
| 98 |
+
사용자 요청에 따라 이전 smoke/실패 테스트 checkpoint 약 28GB, 이전 테스트 로그/보고서, dry-run 산출물을 삭제했다.
|
| 99 |
+
삭제 목록은 현재 audit 디렉터리의 cleanup_manifest.json에 기록했다.
|
| 100 |
+
원본/학습용 데이터, pretrained cache, 본학습과 새 본학습 검증 기록은 유지한다.
|
| 101 |
+
테스트 소스 코드는 재현용 코드이므로 유지한다.
|
50_demos/multi_task_dit/checkpoints/checkpoint-15K/provenance/compat.py
ADDED
|
@@ -0,0 +1,66 @@
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 1 |
+
"""Runtime compatibility fixes for this pinned LeTools revision.
|
| 2 |
+
|
| 3 |
+
Import/install this module before loading saved GR00T processors for inference.
|
| 4 |
+
"""
|
| 5 |
+
import copy
|
| 6 |
+
|
| 7 |
+
|
| 8 |
+
def letterbox224(image):
|
| 9 |
+
from torchvision.transforms import functional as F
|
| 10 |
+
height, width = image.shape[-2:]
|
| 11 |
+
scale = 224 / max(height, width)
|
| 12 |
+
new_h, new_w = max(1, round(height * scale)), max(1, round(width * scale))
|
| 13 |
+
image = F.resize(image, [new_h, new_w], antialias=True)
|
| 14 |
+
left, top = (224 - new_w) // 2, (224 - new_h) // 2
|
| 15 |
+
return F.pad(image, [left, top, 224 - new_w - left, 224 - new_h - top])
|
| 16 |
+
|
| 17 |
+
|
| 18 |
+
def install(policy):
|
| 19 |
+
if policy != "gr00t":
|
| 20 |
+
return
|
| 21 |
+
from lerobot.policies.groot.processor_groot import GrootPackInputsStep, GrootEagleEncodeStep
|
| 22 |
+
from lerobot.types import TransitionKey as K
|
| 23 |
+
if getattr(GrootPackInputsStep, "_rwh_prompts_fixed", False):
|
| 24 |
+
return
|
| 25 |
+
original_pack = GrootPackInputsStep.__call__
|
| 26 |
+
original_encode = GrootEagleEncodeStep.__call__
|
| 27 |
+
|
| 28 |
+
def pack(self, transition):
|
| 29 |
+
prompts = transition.get(K.COMPLEMENTARY_DATA, {}).get(self.language_key)
|
| 30 |
+
result = original_pack(self, transition)
|
| 31 |
+
if isinstance(prompts, list):
|
| 32 |
+
if self.formalize_language:
|
| 33 |
+
prompts = ["".join(c for c in p.lower() if c.isalnum() or c.isspace()) for p in prompts]
|
| 34 |
+
result[K.COMPLEMENTARY_DATA]["language"] = prompts
|
| 35 |
+
return result
|
| 36 |
+
|
| 37 |
+
def encode(self, transition):
|
| 38 |
+
obs = transition.get(K.OBSERVATION, {})
|
| 39 |
+
comp = transition.get(K.COMPLEMENTARY_DATA, {})
|
| 40 |
+
prompts = comp.get("language")
|
| 41 |
+
if not isinstance(prompts, list) or "video" not in obs:
|
| 42 |
+
return original_encode(self, transition)
|
| 43 |
+
if len(prompts) != obs["video"].shape[0]:
|
| 44 |
+
raise ValueError("One task prompt is required for every GR00T batch sample")
|
| 45 |
+
contents = []
|
| 46 |
+
for i, prompt in enumerate(prompts):
|
| 47 |
+
one = {K.OBSERVATION: {"video": obs["video"][i:i + 1]},
|
| 48 |
+
K.COMPLEMENTARY_DATA: {"language": prompt}}
|
| 49 |
+
encoded = original_encode(self, one)
|
| 50 |
+
contents.extend(encoded[K.COMPLEMENTARY_DATA]["eagle_content"])
|
| 51 |
+
comp["eagle_content"] = contents
|
| 52 |
+
return transition
|
| 53 |
+
|
| 54 |
+
GrootPackInputsStep.__call__ = pack
|
| 55 |
+
GrootPackInputsStep._rwh_prompts_fixed = True
|
| 56 |
+
GrootEagleEncodeStep.__call__ = encode
|
| 57 |
+
|
| 58 |
+
|
| 59 |
+
def adapt_dataset(dataset):
|
| 60 |
+
if dataset.image_transforms is not None:
|
| 61 |
+
raise ValueError("Expected unaugmented images before deterministic letterboxing")
|
| 62 |
+
dataset.set_image_transforms(letterbox224)
|
| 63 |
+
dataset.meta.info = copy.deepcopy(dataset.meta.info)
|
| 64 |
+
for key in dataset.meta.camera_keys:
|
| 65 |
+
dataset.meta.info["features"][key]["shape"] = [224, 224, 3]
|
| 66 |
+
return dataset
|
50_demos/multi_task_dit/checkpoints/checkpoint-15K/provenance/data_manifest.json
ADDED
|
The diff for this file is too large to render.
See raw diff
|
|
|
50_demos/multi_task_dit/checkpoints/checkpoint-15K/provenance/effective_train_config.json
ADDED
|
@@ -0,0 +1,211 @@
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 1 |
+
{
|
| 2 |
+
"dataset": {
|
| 3 |
+
"repo_id": "RwH-Lab/kuavo-skill-50demos-10hz-state20-futuretorso",
|
| 4 |
+
"root": "/home/work/mntvol/data/RwH-Kuavo-v2/50_demos/skill_10hz_state20_futuretorso_policy_chunks",
|
| 5 |
+
"episodes": null,
|
| 6 |
+
"image_transforms": {
|
| 7 |
+
"enable": false,
|
| 8 |
+
"max_num_transforms": 3,
|
| 9 |
+
"random_order": false,
|
| 10 |
+
"tfs": {
|
| 11 |
+
"brightness": {
|
| 12 |
+
"weight": 1.0,
|
| 13 |
+
"type": "ColorJitter",
|
| 14 |
+
"kwargs": {
|
| 15 |
+
"brightness": [
|
| 16 |
+
0.8,
|
| 17 |
+
1.2
|
| 18 |
+
]
|
| 19 |
+
}
|
| 20 |
+
},
|
| 21 |
+
"contrast": {
|
| 22 |
+
"weight": 1.0,
|
| 23 |
+
"type": "ColorJitter",
|
| 24 |
+
"kwargs": {
|
| 25 |
+
"contrast": [
|
| 26 |
+
0.8,
|
| 27 |
+
1.2
|
| 28 |
+
]
|
| 29 |
+
}
|
| 30 |
+
},
|
| 31 |
+
"saturation": {
|
| 32 |
+
"weight": 1.0,
|
| 33 |
+
"type": "ColorJitter",
|
| 34 |
+
"kwargs": {
|
| 35 |
+
"saturation": [
|
| 36 |
+
0.5,
|
| 37 |
+
1.5
|
| 38 |
+
]
|
| 39 |
+
}
|
| 40 |
+
},
|
| 41 |
+
"hue": {
|
| 42 |
+
"weight": 1.0,
|
| 43 |
+
"type": "ColorJitter",
|
| 44 |
+
"kwargs": {
|
| 45 |
+
"hue": [
|
| 46 |
+
-0.05,
|
| 47 |
+
0.05
|
| 48 |
+
]
|
| 49 |
+
}
|
| 50 |
+
},
|
| 51 |
+
"sharpness": {
|
| 52 |
+
"weight": 1.0,
|
| 53 |
+
"type": "SharpnessJitter",
|
| 54 |
+
"kwargs": {
|
| 55 |
+
"sharpness": [
|
| 56 |
+
0.5,
|
| 57 |
+
1.5
|
| 58 |
+
]
|
| 59 |
+
}
|
| 60 |
+
},
|
| 61 |
+
"affine": {
|
| 62 |
+
"weight": 1.0,
|
| 63 |
+
"type": "RandomAffine",
|
| 64 |
+
"kwargs": {
|
| 65 |
+
"degrees": [
|
| 66 |
+
-5.0,
|
| 67 |
+
5.0
|
| 68 |
+
],
|
| 69 |
+
"translate": [
|
| 70 |
+
0.05,
|
| 71 |
+
0.05
|
| 72 |
+
]
|
| 73 |
+
}
|
| 74 |
+
}
|
| 75 |
+
}
|
| 76 |
+
},
|
| 77 |
+
"revision": null,
|
| 78 |
+
"use_imagenet_stats": true,
|
| 79 |
+
"video_backend": "pyav",
|
| 80 |
+
"return_uint8": false,
|
| 81 |
+
"streaming": false
|
| 82 |
+
},
|
| 83 |
+
"env": null,
|
| 84 |
+
"policy": {
|
| 85 |
+
"type": "multi_task_dit",
|
| 86 |
+
"n_obs_steps": 2,
|
| 87 |
+
"input_features": {},
|
| 88 |
+
"output_features": {},
|
| 89 |
+
"device": "cuda",
|
| 90 |
+
"use_amp": false,
|
| 91 |
+
"use_peft": false,
|
| 92 |
+
"push_to_hub": false,
|
| 93 |
+
"repo_id": null,
|
| 94 |
+
"private": null,
|
| 95 |
+
"tags": null,
|
| 96 |
+
"license": null,
|
| 97 |
+
"pretrained_path": null,
|
| 98 |
+
"horizon": 32,
|
| 99 |
+
"n_action_steps": 24,
|
| 100 |
+
"objective": "diffusion",
|
| 101 |
+
"noise_scheduler_type": "DDPM",
|
| 102 |
+
"num_train_timesteps": 100,
|
| 103 |
+
"beta_schedule": "squaredcos_cap_v2",
|
| 104 |
+
"beta_start": 0.0001,
|
| 105 |
+
"beta_end": 0.02,
|
| 106 |
+
"prediction_type": "epsilon",
|
| 107 |
+
"clip_sample": true,
|
| 108 |
+
"clip_sample_range": 1.0,
|
| 109 |
+
"num_inference_steps": null,
|
| 110 |
+
"sigma_min": 0.0,
|
| 111 |
+
"num_integration_steps": 100,
|
| 112 |
+
"integration_method": "euler",
|
| 113 |
+
"timestep_sampling_strategy": "beta",
|
| 114 |
+
"timestep_sampling_s": 0.999,
|
| 115 |
+
"timestep_sampling_alpha": 1.5,
|
| 116 |
+
"timestep_sampling_beta": 1.0,
|
| 117 |
+
"hidden_dim": 512,
|
| 118 |
+
"num_layers": 6,
|
| 119 |
+
"num_heads": 8,
|
| 120 |
+
"dropout": 0.1,
|
| 121 |
+
"use_positional_encoding": false,
|
| 122 |
+
"timestep_embed_dim": 256,
|
| 123 |
+
"use_rope": true,
|
| 124 |
+
"rope_base": 10000.0,
|
| 125 |
+
"vision_encoder_name": "openai/clip-vit-base-patch16",
|
| 126 |
+
"use_separate_rgb_encoder_per_camera": false,
|
| 127 |
+
"vision_encoder_lr_multiplier": 0.1,
|
| 128 |
+
"image_resize_shape": null,
|
| 129 |
+
"image_crop_shape": [
|
| 130 |
+
224,
|
| 131 |
+
224
|
| 132 |
+
],
|
| 133 |
+
"image_crop_is_random": true,
|
| 134 |
+
"text_encoder_name": "openai/clip-vit-base-patch16",
|
| 135 |
+
"tokenizer_max_length": 77,
|
| 136 |
+
"tokenizer_padding": "max_length",
|
| 137 |
+
"tokenizer_padding_side": "right",
|
| 138 |
+
"tokenizer_truncation": true,
|
| 139 |
+
"normalization_mapping": {
|
| 140 |
+
"VISUAL": "MEAN_STD",
|
| 141 |
+
"STATE": "MIN_MAX",
|
| 142 |
+
"ACTION": "MIN_MAX"
|
| 143 |
+
},
|
| 144 |
+
"optimizer_lr": 2e-05,
|
| 145 |
+
"optimizer_betas": [
|
| 146 |
+
0.95,
|
| 147 |
+
0.999
|
| 148 |
+
],
|
| 149 |
+
"optimizer_eps": 1e-08,
|
| 150 |
+
"optimizer_weight_decay": 0.0,
|
| 151 |
+
"scheduler_name": "cosine",
|
| 152 |
+
"scheduler_warmup_steps": 0,
|
| 153 |
+
"do_mask_loss_for_padding": false,
|
| 154 |
+
"drop_n_last_frames": 7
|
| 155 |
+
},
|
| 156 |
+
"output_dir": "/home/work/mntvol/RwH-Kuavo_ckpt/50_demos/multi_task_dit",
|
| 157 |
+
"job_name": "rwh_50demos_multi_task_dit",
|
| 158 |
+
"resume": false,
|
| 159 |
+
"seed": 42,
|
| 160 |
+
"cudnn_deterministic": false,
|
| 161 |
+
"num_workers": 4,
|
| 162 |
+
"batch_size": 64,
|
| 163 |
+
"prefetch_factor": 4,
|
| 164 |
+
"persistent_workers": true,
|
| 165 |
+
"steps": 20000,
|
| 166 |
+
"eval_freq": 0,
|
| 167 |
+
"log_freq": 100,
|
| 168 |
+
"tolerance_s": 0.0001,
|
| 169 |
+
"save_checkpoint": true,
|
| 170 |
+
"save_freq": 5000,
|
| 171 |
+
"use_policy_training_preset": true,
|
| 172 |
+
"optimizer": {
|
| 173 |
+
"type": "adam",
|
| 174 |
+
"lr": 2e-05,
|
| 175 |
+
"weight_decay": 0.0,
|
| 176 |
+
"grad_clip_norm": 10.0,
|
| 177 |
+
"betas": [
|
| 178 |
+
0.95,
|
| 179 |
+
0.999
|
| 180 |
+
],
|
| 181 |
+
"eps": 1e-08
|
| 182 |
+
},
|
| 183 |
+
"scheduler": {
|
| 184 |
+
"type": "diffuser",
|
| 185 |
+
"num_warmup_steps": 0,
|
| 186 |
+
"name": "cosine"
|
| 187 |
+
},
|
| 188 |
+
"eval": {
|
| 189 |
+
"n_episodes": 50,
|
| 190 |
+
"batch_size": 50,
|
| 191 |
+
"use_async_envs": true
|
| 192 |
+
},
|
| 193 |
+
"wandb": {
|
| 194 |
+
"enable": false,
|
| 195 |
+
"disable_artifact": true,
|
| 196 |
+
"project": "RwH-Kuavo-50demos",
|
| 197 |
+
"entity": null,
|
| 198 |
+
"notes": null,
|
| 199 |
+
"run_id": null,
|
| 200 |
+
"mode": null,
|
| 201 |
+
"add_tags": true
|
| 202 |
+
},
|
| 203 |
+
"peft": null,
|
| 204 |
+
"use_rabc": false,
|
| 205 |
+
"rabc_progress_path": null,
|
| 206 |
+
"rabc_kappa": 0.01,
|
| 207 |
+
"rabc_epsilon": 1e-06,
|
| 208 |
+
"rabc_head_mode": "sparse",
|
| 209 |
+
"rename_map": {},
|
| 210 |
+
"checkpoint_path": null
|
| 211 |
+
}
|
50_demos/multi_task_dit/checkpoints/checkpoint-15K/provenance/model_assets.json
ADDED
|
@@ -0,0 +1,9 @@
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 1 |
+
{
|
| 2 |
+
"lerobot/smolvla_base": "5e8d12a6e2975b0e5e5fce7c8caf47c371d257b6",
|
| 3 |
+
"lerobot/pi05_base": "22c30e5b34f9e7ab738b1b34fc2fc5ecfe2d28f0",
|
| 4 |
+
"openai/clip-vit-base-patch16": "57c216476eefef5ab752ec549e440a49ae4ae5f3",
|
| 5 |
+
"HuggingFaceTB/SmolVLM2-500M-Video-Instruct": "7b375e1b73b11138ff12fe22c8f2822d8fe03467",
|
| 6 |
+
"google/paligemma-3b-pt-224": "35e4f46485b4d07967e7e9935bc3786aad50687c",
|
| 7 |
+
"lerobot/eagle2hg-processor-groot-n1p5": "baf604d8a5caf26fda5cc545f141bc1814156237",
|
| 8 |
+
"nvidia/GR00T-N1.5-3B": "869830fc749c35f34771aa5209f923ac57e4564e"
|
| 9 |
+
}
|
50_demos/multi_task_dit/checkpoints/checkpoint-15K/provenance/policy.yaml
ADDED
|
@@ -0,0 +1,32 @@
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 1 |
+
# LeTools simple defaults + agreed 50_demos contract. One GPU, no gradient accumulation.
|
| 2 |
+
dataset:
|
| 3 |
+
repo_id: RwH-Lab/kuavo-skill-50demos-10hz-state20-futuretorso
|
| 4 |
+
root: /home/work/mntvol/data/RwH-Kuavo-v2/50_demos/skill_10hz_state20_futuretorso_policy_chunks
|
| 5 |
+
training:
|
| 6 |
+
resume: false
|
| 7 |
+
output_dir: /home/work/mntvol/RwH-Kuavo_ckpt/50_demos/multi_task_dit
|
| 8 |
+
job_name: rwh_50demos_multi_task_dit
|
| 9 |
+
batch_size: 64
|
| 10 |
+
steps: 20000
|
| 11 |
+
save_freq: 5000
|
| 12 |
+
log_freq: 100
|
| 13 |
+
eval_freq: 0
|
| 14 |
+
num_workers: 4
|
| 15 |
+
seed: 42
|
| 16 |
+
wandb:
|
| 17 |
+
enable: false
|
| 18 |
+
project: RwH-Kuavo-50demos
|
| 19 |
+
policy:
|
| 20 |
+
type: multi_task_dit
|
| 21 |
+
pretrained_path: null
|
| 22 |
+
vision_encoder_name: openai/clip-vit-base-patch16
|
| 23 |
+
text_encoder_name: openai/clip-vit-base-patch16
|
| 24 |
+
n_obs_steps: 2
|
| 25 |
+
horizon: 32
|
| 26 |
+
n_action_steps: 24
|
| 27 |
+
objective: diffusion
|
| 28 |
+
image_crop_shape:
|
| 29 |
+
- 224
|
| 30 |
+
- 224
|
| 31 |
+
optimizer_lr: 2.0e-05
|
| 32 |
+
scheduler_name: cosine
|
50_demos/multi_task_dit/checkpoints/checkpoint-15K/provenance/total.yaml
ADDED
|
@@ -0,0 +1,118 @@
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 1 |
+
dataset: # 数据集相关设置。
|
| 2 |
+
repo_id: "lerobot/your_dataset" # 数据集名字,用来做标识。
|
| 3 |
+
root: null # 本地数据路径。
|
| 4 |
+
episodes: null # 只训练指定的 episode;不填就是全量。
|
| 5 |
+
image_transforms: {} # 额外的图像预处理设置。
|
| 6 |
+
revision: null # 远程数据集版本;本地训练一般不用改。
|
| 7 |
+
use_imagenet_stats: true # 图像是否用 ImageNet 的均值方差做归一化。
|
| 8 |
+
video_backend: pyav # 读视频帧用的后端。一般用 pyav。
|
| 9 |
+
return_uint8: false # 是否保留图像为 uint8,而不是转换成 float tensor。
|
| 10 |
+
streaming: false # 是否流式读数据。一般保持 false。
|
| 11 |
+
|
| 12 |
+
training: # 训练流程设置。
|
| 13 |
+
output_dir: "outputs/train/multi_task_dit" # 训练输出目录。
|
| 14 |
+
job_name: "multi_task_dit" # 实验名。
|
| 15 |
+
resume: false # 是否从 output_dir 最新 checkpoint 继续训;续训改为 true,并修改 output_dir 为上阶段 run 的产物路径,如 outputs/train/multi_task_dit_YYYYMMDD_HHMMSS。
|
| 16 |
+
seed: 1000 # 随机种子。
|
| 17 |
+
cudnn_deterministic: false # 更稳定可复现,但会慢一点。
|
| 18 |
+
num_workers: 4 # 读数据用的进程数。
|
| 19 |
+
batch_size: 8 # 每张卡上的 batch size。
|
| 20 |
+
prefetch_factor: 4 # 每个读数据进程提前准备多少个 batch。
|
| 21 |
+
persistent_workers: true # 是否让读数据进程常驻。
|
| 22 |
+
steps: 100000 # 总训练步数。
|
| 23 |
+
eval_freq: 10000 # 每隔多少步做一次评测。
|
| 24 |
+
log_freq: 100 # 每隔多少步打一次日志。
|
| 25 |
+
tolerance_s: 1.0e-4 # 视频帧和标注对齐时允许的时间误差。
|
| 26 |
+
save_checkpoint: true # 是否保存 checkpoint。
|
| 27 |
+
save_freq: 10000 # 每隔多少步存一次权重。
|
| 28 |
+
use_policy_training_preset: true # 是否用模型自带的优化器和调度器默认值。
|
| 29 |
+
optimizer: null # 手动指定优化器;一般留空。
|
| 30 |
+
scheduler: null # 手动指定学习率策略;一般留空。
|
| 31 |
+
use_rabc: false # 是否启用 RABC。一般不用。
|
| 32 |
+
rabc_progress_path: null # RABC 用的额外文件路径。一般不用。
|
| 33 |
+
rabc_kappa: 0.01 # RABC 参数。一般不用改。
|
| 34 |
+
rabc_epsilon: 1.0e-6 # RABC 的稳定性参数。一般不用改。
|
| 35 |
+
rabc_head_mode: "sparse" # RABC 模式。一般不用改。
|
| 36 |
+
rename_map: {} # 特征重命名表。一般不用。
|
| 37 |
+
|
| 38 |
+
eval: # 训练中评测设置。
|
| 39 |
+
n_episodes: 50 # 每次评测跑多少条。
|
| 40 |
+
batch_size: 0 # 评测 batch size。0 表示自动。
|
| 41 |
+
use_async_envs: true # 评测环境是否并行异步跑。
|
| 42 |
+
|
| 43 |
+
wandb: # wandb 设置。
|
| 44 |
+
enable: false # 是否启用 wandb。
|
| 45 |
+
disable_artifact: true # 是否禁用向 wandb 上传权重文件。
|
| 46 |
+
project: "lerobot" # wandb 项目名。
|
| 47 |
+
entity: null # wandb 账号或团队名。
|
| 48 |
+
notes: null # wandb 备注。
|
| 49 |
+
run_id: null # wandb run id。
|
| 50 |
+
mode: null # wandb 模式。
|
| 51 |
+
add_tags: true # 是否自动加 wandb 标签。
|
| 52 |
+
|
| 53 |
+
peft: null # PEFT 设置。一般留空。
|
| 54 |
+
|
| 55 |
+
policy: # 模型相关设置。
|
| 56 |
+
type: "multi_task_dit" # 模型类型。
|
| 57 |
+
n_obs_steps: 2 # 一次预测会看几帧观测。
|
| 58 |
+
input_features: {} # 手动指定输入特征。一般不用。
|
| 59 |
+
output_features: {} # 手动指定输出特征。一般不用。
|
| 60 |
+
device: "cuda" # 运行设备。
|
| 61 |
+
use_amp: false # 是否启用混合精度。
|
| 62 |
+
use_peft: false # 是否启用 PEFT。
|
| 63 |
+
push_to_hub: false # 是否上传到 Hugging Face。
|
| 64 |
+
repo_id: null # 上传时用的仓库名。
|
| 65 |
+
private: null # 上传仓库是否私有。
|
| 66 |
+
tags: null # 上传时的标签。
|
| 67 |
+
license: null # 上传时的 license。
|
| 68 |
+
pretrained_path: null # 通常从头训(填 null)或填本地/LeRobot checkpoint。二阶段微调请改为上一 run 的 <policy_name>_YYYYMMDD_HHMMSS/checkpoints/<step>/pretrained_model 路径。
|
| 69 |
+
horizon: 32 # 模型内部预测的总长度。
|
| 70 |
+
n_action_steps: 24 # 每次真正执行多少步动作。
|
| 71 |
+
objective: "diffusion" # 训练目标类型。
|
| 72 |
+
noise_scheduler_type: "DDPM" # 噪声调度器类型。
|
| 73 |
+
num_train_timesteps: 100 # 训练时的扩散步数。
|
| 74 |
+
beta_schedule: "squaredcos_cap_v2" # beta 调度方式。
|
| 75 |
+
beta_start: 1.0e-4 # beta 起始值。
|
| 76 |
+
beta_end: 0.02 # beta 结束值。
|
| 77 |
+
prediction_type: "epsilon" # 模型预测什么目标。
|
| 78 |
+
clip_sample: true # 是否裁剪去噪结果。
|
| 79 |
+
clip_sample_range: 1.0 # 裁剪范围。
|
| 80 |
+
num_inference_steps: null # 推理时去噪多少步;不填就用默认。
|
| 81 |
+
sigma_min: 0.0 # 最小 sigma。
|
| 82 |
+
num_integration_steps: 100 # 积分步数。
|
| 83 |
+
integration_method: "euler" # 积分方法。
|
| 84 |
+
timestep_sampling_strategy: "beta" # 时间步采样策略。
|
| 85 |
+
timestep_sampling_s: 0.999 # 时间步采样参数 s。
|
| 86 |
+
timestep_sampling_alpha: 1.5 # 时间步采样 alpha。
|
| 87 |
+
timestep_sampling_beta: 1.0 # 时间步采样 beta。
|
| 88 |
+
hidden_dim: 512 # 主隐藏维度。
|
| 89 |
+
num_layers: 6 # 层数。
|
| 90 |
+
num_heads: 8 # 注意力头数。
|
| 91 |
+
dropout: 0.1 # dropout 比例。
|
| 92 |
+
use_positional_encoding: false # 是否启用位置编码。
|
| 93 |
+
timestep_embed_dim: 256 # 时间嵌入维度。
|
| 94 |
+
use_rope: true # 是否启用 RoPE。
|
| 95 |
+
rope_base: 10000.0 # RoPE base。
|
| 96 |
+
vision_encoder_name: "openai/clip-vit-base-patch16" # 视觉编码器模型名。
|
| 97 |
+
use_separate_rgb_encoder_per_camera: false # 每个相机是否单独编码。
|
| 98 |
+
vision_encoder_lr_multiplier: 0.1 # 视觉编码器学习率倍率。
|
| 99 |
+
image_resize_shape: null # 图像先 resize 到多大。
|
| 100 |
+
image_crop_shape: [224, 224] # 图像 crop 尺寸。
|
| 101 |
+
image_crop_is_random: true # 是否随机 crop。
|
| 102 |
+
text_encoder_name: "openai/clip-vit-base-patch16" # 文本编码器模型名。
|
| 103 |
+
tokenizer_max_length: 77 # 文本最大长度。
|
| 104 |
+
tokenizer_padding: "max_length" # padding 模式。
|
| 105 |
+
tokenizer_padding_side: "right" # padding 方向。
|
| 106 |
+
tokenizer_truncation: true # 是否截断过长文本。
|
| 107 |
+
normalization_mapping: # 不同输入的归一化方式。
|
| 108 |
+
VISUAL: "MEAN_STD" # 图像怎么归一化。
|
| 109 |
+
STATE: "MIN_MAX" # 状态怎么归一化。
|
| 110 |
+
ACTION: "MIN_MAX" # 动作怎么归一化。
|
| 111 |
+
optimizer_lr: 2.0e-5 # 主学习率。
|
| 112 |
+
optimizer_betas: [0.95, 0.999] # 优化器 beta 参数。
|
| 113 |
+
optimizer_eps: 1.0e-8 # 优化器 epsilon。
|
| 114 |
+
optimizer_weight_decay: 0.0 # weight decay。
|
| 115 |
+
scheduler_name: "cosine" # 学习率策略。
|
| 116 |
+
scheduler_warmup_steps: 0 # warmup 步数。
|
| 117 |
+
do_mask_loss_for_padding: false # 算 loss 时是否忽略 padding。
|
| 118 |
+
drop_n_last_frames: null # 训练时丢掉最后几帧,减少 padding 影响。
|
50_demos/multi_task_dit/checkpoints/checkpoint-15K/provenance/training_step.json
ADDED
|
@@ -0,0 +1,3 @@
|
|
|
|
|
|
|
|
|
|
|
|
|
| 1 |
+
{
|
| 2 |
+
"step": 15000
|
| 3 |
+
}
|