ldunvidia's picture
Upload validated PatternLock stage-3 step-1000 checkpoint
eb70952 verified
Raw History Blame Contribute Delete
225 kB
{"tree_metadata": {"('opt_state', 'action', 'inner_states', 'backbone', 'inner_state', '0')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "backbone", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "0", "key_type": 1}], "value_metadata": {"value_type": "None", "skip_deserialize": true}}, "('opt_state', 'action', 'inner_states', 'backbone', 'inner_state', '1', '0', 'count')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "backbone", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "count", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false, "write_shape": []}}, "('opt_state', 'action', 'inner_states', 'backbone', 'inner_state', '1', '0', 'mu', 'PaliGemma', 'llm', 'final_norm_1', 'Dense_0', 'bias', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "backbone", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "mu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "final_norm_1", "key_type": 2}, {"key": "Dense_0", "key_type": 2}, {"key": "bias", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false, "write_shape": [768]}}, "('opt_state', 'action', 'inner_states', 'backbone', 'inner_state', '1', '0', 'mu', 'PaliGemma', 'llm', 'final_norm_1', 'Dense_0', 'kernel', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "backbone", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "mu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "final_norm_1", "key_type": 2}, {"key": "Dense_0", "key_type": 2}, {"key": "kernel", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false, "write_shape": [256, 3072]}}, "('opt_state', 'action', 'inner_states', 'backbone', 'inner_state', '1', '0', 'mu', 'PaliGemma', 'llm', 'layers_seg0', 'attn', 'attn_vec_einsum_1', 'w', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "backbone", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "mu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg0", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "attn_vec_einsum_1", "key_type": 2}, {"key": "w", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false, "write_shape": [2, 2, 256, 1024]}}, "('opt_state', 'action', 'inner_states', 'backbone', 'inner_state', '1', '0', 'mu', 'PaliGemma', 'llm', 'layers_seg0', 'attn', 'kv_einsum_1', 'w', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "backbone", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "mu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg0", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "kv_einsum_1", "key_type": 2}, {"key": "w", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false, "write_shape": [2, 2, 1, 256, 256]}}, "('opt_state', 'action', 'inner_states', 'backbone', 'inner_state', '1', '0', 'mu', 'PaliGemma', 'llm', 'layers_seg0', 'attn', 'q_einsum_1', 'w', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "backbone", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "mu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg0", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "q_einsum_1", "key_type": 2}, {"key": "w", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false, "write_shape": [2, 2, 1024, 256]}}, "('opt_state', 'action', 'inner_states', 'backbone', 'inner_state', '1', '0', 'mu', 'PaliGemma', 'llm', 'layers_seg0', 'mlp_1', 'gating_einsum', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "backbone", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "mu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg0", "key_type": 2}, {"key": "mlp_1", "key_type": 2}, {"key": "gating_einsum", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false, "write_shape": [2, 2, 256, 4096]}}, "('opt_state', 'action', 'inner_states', 'backbone', 'inner_state', '1', '0', 'mu', 'PaliGemma', 'llm', 'layers_seg0', 'mlp_1', 'linear', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "backbone", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "mu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg0", "key_type": 2}, {"key": "mlp_1", "key_type": 2}, {"key": "linear", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false, "write_shape": [2, 1024, 1024]}}, "('opt_state', 'action', 'inner_states', 'backbone', 'inner_state', '1', '0', 'mu', 'PaliGemma', 'llm', 'layers_seg0', 'pre_attention_norm_1', 'Dense_0', 'bias', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "backbone", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "mu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg0", "key_type": 2}, {"key": "pre_attention_norm_1", "key_type": 2}, {"key": "Dense_0", "key_type": 2}, {"key": "bias", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false, "write_shape": [2, 768]}}, "('opt_state', 'action', 'inner_states', 'backbone', 'inner_state', '1', '0', 'mu', 'PaliGemma', 'llm', 'layers_seg0', 'pre_attention_norm_1', 'Dense_0', 'kernel', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "backbone", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "mu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg0", "key_type": 2}, {"key": "pre_attention_norm_1", "key_type": 2}, {"key": "Dense_0", "key_type": 2}, {"key": "kernel", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false, "write_shape": [2, 256, 3072]}}, "('opt_state', 'action', 'inner_states', 'backbone', 'inner_state', '1', '0', 'mu', 'PaliGemma', 'llm', 'layers_seg0', 'pre_ffw_norm_1', 'Dense_0', 'bias', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "backbone", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "mu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg0", "key_type": 2}, {"key": "pre_ffw_norm_1", "key_type": 2}, {"key": "Dense_0", "key_type": 2}, {"key": "bias", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false, "write_shape": [2, 768]}}, "('opt_state', 'action', 'inner_states', 'backbone', 'inner_state', '1', '0', 'mu', 'PaliGemma', 'llm', 'layers_seg0', 'pre_ffw_norm_1', 'Dense_0', 'kernel', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "backbone", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "mu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg0", "key_type": 2}, {"key": "pre_ffw_norm_1", "key_type": 2}, {"key": "Dense_0", "key_type": 2}, {"key": "kernel", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false, "write_shape": [2, 256, 3072]}}, "('opt_state', 'action', 'inner_states', 'backbone', 'inner_state', '1', '0', 'mu', 'PaliGemma', 'llm', 'layers_seg1', 'attn', 'attn_vec_einsum_1', 'w', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "backbone", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "mu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg1", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "attn_vec_einsum_1", "key_type": 2}, {"key": "w", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false, "write_shape": [3, 2, 256, 1024]}}, "('opt_state', 'action', 'inner_states', 'backbone', 'inner_state', '1', '0', 'mu', 'PaliGemma', 'llm', 'layers_seg1', 'attn', 'kv_einsum_1', 'w', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "backbone", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "mu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg1", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "kv_einsum_1", "key_type": 2}, {"key": "w", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false, "write_shape": [3, 2, 1, 256, 256]}}, "('opt_state', 'action', 'inner_states', 'backbone', 'inner_state', '1', '0', 'mu', 'PaliGemma', 'llm', 'layers_seg1', 'attn', 'q_einsum_1', 'w', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "backbone", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "mu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg1", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "q_einsum_1", "key_type": 2}, {"key": "w", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false, "write_shape": [3, 2, 1024, 256]}}, "('opt_state', 'action', 'inner_states', 'backbone', 'inner_state', '1', '0', 'mu', 'PaliGemma', 'llm', 'layers_seg1', 'mlp_1', 'gating_einsum', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "backbone", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "mu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg1", "key_type": 2}, {"key": "mlp_1", "key_type": 2}, {"key": "gating_einsum", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false, "write_shape": [3, 2, 256, 4096]}}, "('opt_state', 'action', 'inner_states', 'backbone', 'inner_state', '1', '0', 'mu', 'PaliGemma', 'llm', 'layers_seg1', 'mlp_1', 'linear', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "backbone", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "mu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg1", "key_type": 2}, {"key": "mlp_1", "key_type": 2}, {"key": "linear", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false, "write_shape": [3, 1024, 1024]}}, "('opt_state', 'action', 'inner_states', 'backbone', 'inner_state', '1', '0', 'mu', 'PaliGemma', 'llm', 'layers_seg1', 'pre_attention_norm_1', 'Dense_0', 'bias', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "backbone", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "mu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg1", "key_type": 2}, {"key": "pre_attention_norm_1", "key_type": 2}, {"key": "Dense_0", "key_type": 2}, {"key": "bias", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false, "write_shape": [3, 768]}}, "('opt_state', 'action', 'inner_states', 'backbone', 'inner_state', '1', '0', 'mu', 'PaliGemma', 'llm', 'layers_seg1', 'pre_attention_norm_1', 'Dense_0', 'kernel', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "backbone", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "mu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg1", "key_type": 2}, {"key": "pre_attention_norm_1", "key_type": 2}, {"key": "Dense_0", "key_type": 2}, {"key": "kernel", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false, "write_shape": [3, 256, 3072]}}, "('opt_state', 'action', 'inner_states', 'backbone', 'inner_state', '1', '0', 'mu', 'PaliGemma', 'llm', 'layers_seg1', 'pre_ffw_norm_1', 'Dense_0', 'bias', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "backbone", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "mu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg1", "key_type": 2}, {"key": "pre_ffw_norm_1", "key_type": 2}, {"key": "Dense_0", "key_type": 2}, {"key": "bias", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false, "write_shape": [3, 768]}}, "('opt_state', 'action', 'inner_states', 'backbone', 'inner_state', '1', '0', 'mu', 'PaliGemma', 'llm', 'layers_seg1', 'pre_ffw_norm_1', 'Dense_0', 'kernel', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "backbone", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "mu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg1", "key_type": 2}, {"key": "pre_ffw_norm_1", "key_type": 2}, {"key": "Dense_0", "key_type": 2}, {"key": "kernel", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false, "write_shape": [3, 256, 3072]}}, "('opt_state', 'action', 'inner_states', 'backbone', 'inner_state', '1', '0', 'mu', 'PaliGemma', 'llm', 'layers_seg2', 'attn', 'attn_vec_einsum_1', 'w', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "backbone", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "mu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg2", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "attn_vec_einsum_1", "key_type": 2}, {"key": "w", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false, "write_shape": [3, 2, 256, 1024]}}, "('opt_state', 'action', 'inner_states', 'backbone', 'inner_state', '1', '0', 'mu', 'PaliGemma', 'llm', 'layers_seg2', 'attn', 'kv_einsum_1', 'w', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "backbone", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "mu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg2", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "kv_einsum_1", "key_type": 2}, {"key": "w", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false, "write_shape": [3, 2, 1, 256, 256]}}, "('opt_state', 'action', 'inner_states', 'backbone', 'inner_state', '1', '0', 'mu', 'PaliGemma', 'llm', 'layers_seg2', 'attn', 'q_einsum_1', 'w', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "backbone", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "mu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg2", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "q_einsum_1", "key_type": 2}, {"key": "w", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false, "write_shape": [3, 2, 1024, 256]}}, "('opt_state', 'action', 'inner_states', 'backbone', 'inner_state', '1', '0', 'mu', 'PaliGemma', 'llm', 'layers_seg2', 'mlp_1', 'gating_einsum', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "backbone", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "mu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg2", "key_type": 2}, {"key": "mlp_1", "key_type": 2}, {"key": "gating_einsum", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false, "write_shape": [3, 2, 256, 4096]}}, "('opt_state', 'action', 'inner_states', 'backbone', 'inner_state', '1', '0', 'mu', 'PaliGemma', 'llm', 'layers_seg2', 'mlp_1', 'linear', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "backbone", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "mu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg2", "key_type": 2}, {"key": "mlp_1", "key_type": 2}, {"key": "linear", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false, "write_shape": [3, 1024, 1024]}}, "('opt_state', 'action', 'inner_states', 'backbone', 'inner_state', '1', '0', 'mu', 'PaliGemma', 'llm', 'layers_seg2', 'pre_attention_norm_1', 'Dense_0', 'bias', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "backbone", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "mu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg2", "key_type": 2}, {"key": "pre_attention_norm_1", "key_type": 2}, {"key": "Dense_0", "key_type": 2}, {"key": "bias", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false, "write_shape": [3, 768]}}, "('opt_state', 'action', 'inner_states', 'backbone', 'inner_state', '1', '0', 'mu', 'PaliGemma', 'llm', 'layers_seg2', 'pre_attention_norm_1', 'Dense_0', 'kernel', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "backbone", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "mu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg2", "key_type": 2}, {"key": "pre_attention_norm_1", "key_type": 2}, {"key": "Dense_0", "key_type": 2}, {"key": "kernel", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false, "write_shape": [3, 256, 3072]}}, "('opt_state', 'action', 'inner_states', 'backbone', 'inner_state', '1', '0', 'mu', 'PaliGemma', 'llm', 'layers_seg2', 'pre_ffw_norm_1', 'Dense_0', 'bias', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "backbone", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "mu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg2", "key_type": 2}, {"key": "pre_ffw_norm_1", "key_type": 2}, {"key": "Dense_0", "key_type": 2}, {"key": "bias", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false, "write_shape": [3, 768]}}, "('opt_state', 'action', 'inner_states', 'backbone', 'inner_state', '1', '0', 'mu', 'PaliGemma', 'llm', 'layers_seg2', 'pre_ffw_norm_1', 'Dense_0', 'kernel', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "backbone", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "mu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg2", "key_type": 2}, {"key": "pre_ffw_norm_1", "key_type": 2}, {"key": "Dense_0", "key_type": 2}, {"key": "kernel", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false, "write_shape": [3, 256, 3072]}}, "('opt_state', 'action', 'inner_states', 'backbone', 'inner_state', '1', '0', 'mu', 'PaliGemma', 'llm', 'layers_seg3', 'attn', 'attn_vec_einsum_1', 'w', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "backbone", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "mu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg3", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "attn_vec_einsum_1", "key_type": 2}, {"key": "w", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false, "write_shape": [3, 2, 256, 1024]}}, "('opt_state', 'action', 'inner_states', 'backbone', 'inner_state', '1', '0', 'mu', 'PaliGemma', 'llm', 'layers_seg3', 'attn', 'kv_einsum_1', 'w', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "backbone", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "mu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg3", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "kv_einsum_1", "key_type": 2}, {"key": "w", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false, "write_shape": [3, 2, 1, 256, 256]}}, "('opt_state', 'action', 'inner_states', 'backbone', 'inner_state', '1', '0', 'mu', 'PaliGemma', 'llm', 'layers_seg3', 'attn', 'q_einsum_1', 'w', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "backbone", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "mu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg3", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "q_einsum_1", "key_type": 2}, {"key": "w", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false, "write_shape": [3, 2, 1024, 256]}}, "('opt_state', 'action', 'inner_states', 'backbone', 'inner_state', '1', '0', 'mu', 'PaliGemma', 'llm', 'layers_seg3', 'mlp_1', 'gating_einsum', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "backbone", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "mu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg3", "key_type": 2}, {"key": "mlp_1", "key_type": 2}, {"key": "gating_einsum", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false, "write_shape": [3, 2, 256, 4096]}}, "('opt_state', 'action', 'inner_states', 'backbone', 'inner_state', '1', '0', 'mu', 'PaliGemma', 'llm', 'layers_seg3', 'mlp_1', 'linear', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "backbone", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "mu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg3", "key_type": 2}, {"key": "mlp_1", "key_type": 2}, {"key": "linear", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false, "write_shape": [3, 1024, 1024]}}, "('opt_state', 'action', 'inner_states', 'backbone', 'inner_state', '1', '0', 'mu', 'PaliGemma', 'llm', 'layers_seg3', 'pre_attention_norm_1', 'Dense_0', 'bias', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "backbone", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "mu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg3", "key_type": 2}, {"key": "pre_attention_norm_1", "key_type": 2}, {"key": "Dense_0", "key_type": 2}, {"key": "bias", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false, "write_shape": [3, 768]}}, "('opt_state', 'action', 'inner_states', 'backbone', 'inner_state', '1', '0', 'mu', 'PaliGemma', 'llm', 'layers_seg3', 'pre_attention_norm_1', 'Dense_0', 'kernel', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "backbone", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "mu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg3", "key_type": 2}, {"key": "pre_attention_norm_1", "key_type": 2}, {"key": "Dense_0", "key_type": 2}, {"key": "kernel", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false, "write_shape": [3, 256, 3072]}}, "('opt_state', 'action', 'inner_states', 'backbone', 'inner_state', '1', '0', 'mu', 'PaliGemma', 'llm', 'layers_seg3', 'pre_ffw_norm_1', 'Dense_0', 'bias', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "backbone", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "mu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg3", "key_type": 2}, {"key": "pre_ffw_norm_1", "key_type": 2}, {"key": "Dense_0", "key_type": 2}, {"key": "bias", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false, "write_shape": [3, 768]}}, "('opt_state', 'action', 'inner_states', 'backbone', 'inner_state', '1', '0', 'mu', 'PaliGemma', 'llm', 'layers_seg3', 'pre_ffw_norm_1', 'Dense_0', 'kernel', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "backbone", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "mu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg3", "key_type": 2}, {"key": "pre_ffw_norm_1", "key_type": 2}, {"key": "Dense_0", "key_type": 2}, {"key": "kernel", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false, "write_shape": [3, 256, 3072]}}, "('opt_state', 'action', 'inner_states', 'backbone', 'inner_state', '1', '0', 'mu', 'PaliGemma', 'llm', 'layers_seg4', 'attn', 'attn_vec_einsum_1', 'w', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "backbone", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "mu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg4", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "attn_vec_einsum_1", "key_type": 2}, {"key": "w", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false, "write_shape": [3, 2, 256, 1024]}}, "('opt_state', 'action', 'inner_states', 'backbone', 'inner_state', '1', '0', 'mu', 'PaliGemma', 'llm', 'layers_seg4', 'attn', 'kv_einsum_1', 'w', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "backbone", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "mu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg4", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "kv_einsum_1", "key_type": 2}, {"key": "w", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false, "write_shape": [3, 2, 1, 256, 256]}}, "('opt_state', 'action', 'inner_states', 'backbone', 'inner_state', '1', '0', 'mu', 'PaliGemma', 'llm', 'layers_seg4', 'attn', 'q_einsum_1', 'w', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "backbone", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "mu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg4", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "q_einsum_1", "key_type": 2}, {"key": "w", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false, "write_shape": [3, 2, 1024, 256]}}, "('opt_state', 'action', 'inner_states', 'backbone', 'inner_state', '1', '0', 'mu', 'PaliGemma', 'llm', 'layers_seg4', 'mlp_1', 'gating_einsum', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "backbone", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "mu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg4", "key_type": 2}, {"key": "mlp_1", "key_type": 2}, {"key": "gating_einsum", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false, "write_shape": [3, 2, 256, 4096]}}, "('opt_state', 'action', 'inner_states', 'backbone', 'inner_state', '1', '0', 'mu', 'PaliGemma', 'llm', 'layers_seg4', 'mlp_1', 'linear', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "backbone", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "mu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg4", "key_type": 2}, {"key": "mlp_1", "key_type": 2}, {"key": "linear", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false, "write_shape": [3, 1024, 1024]}}, "('opt_state', 'action', 'inner_states', 'backbone', 'inner_state', '1', '0', 'mu', 'PaliGemma', 'llm', 'layers_seg4', 'pre_attention_norm_1', 'Dense_0', 'bias', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "backbone", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "mu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg4", "key_type": 2}, {"key": "pre_attention_norm_1", "key_type": 2}, {"key": "Dense_0", "key_type": 2}, {"key": "bias", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false, "write_shape": [3, 768]}}, "('opt_state', 'action', 'inner_states', 'backbone', 'inner_state', '1', '0', 'mu', 'PaliGemma', 'llm', 'layers_seg4', 'pre_attention_norm_1', 'Dense_0', 'kernel', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "backbone", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "mu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg4", "key_type": 2}, {"key": "pre_attention_norm_1", "key_type": 2}, {"key": "Dense_0", "key_type": 2}, {"key": "kernel", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false, "write_shape": [3, 256, 3072]}}, "('opt_state', 'action', 'inner_states', 'backbone', 'inner_state', '1', '0', 'mu', 'PaliGemma', 'llm', 'layers_seg4', 'pre_ffw_norm_1', 'Dense_0', 'bias', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "backbone", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "mu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg4", "key_type": 2}, {"key": "pre_ffw_norm_1", "key_type": 2}, {"key": "Dense_0", "key_type": 2}, {"key": "bias", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false, "write_shape": [3, 768]}}, "('opt_state', 'action', 'inner_states', 'backbone', 'inner_state', '1', '0', 'mu', 'PaliGemma', 'llm', 'layers_seg4', 'pre_ffw_norm_1', 'Dense_0', 'kernel', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "backbone", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "mu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg4", "key_type": 2}, {"key": "pre_ffw_norm_1", "key_type": 2}, {"key": "Dense_0", "key_type": 2}, {"key": "kernel", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false, "write_shape": [3, 256, 3072]}}, "('opt_state', 'action', 'inner_states', 'backbone', 'inner_state', '1', '0', 'mu', 'PaliGemma', 'llm', 'layers_seg5', 'attn', 'attn_vec_einsum_1', 'w', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "backbone", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "mu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg5", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "attn_vec_einsum_1", "key_type": 2}, {"key": "w", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false, "write_shape": [3, 2, 256, 1024]}}, "('opt_state', 'action', 'inner_states', 'backbone', 'inner_state', '1', '0', 'mu', 'PaliGemma', 'llm', 'layers_seg5', 'attn', 'kv_einsum_1', 'w', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "backbone", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "mu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg5", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "kv_einsum_1", "key_type": 2}, {"key": "w", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false, "write_shape": [3, 2, 1, 256, 256]}}, "('opt_state', 'action', 'inner_states', 'backbone', 'inner_state', '1', '0', 'mu', 'PaliGemma', 'llm', 'layers_seg5', 'attn', 'q_einsum_1', 'w', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "backbone", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "mu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg5", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "q_einsum_1", "key_type": 2}, {"key": "w", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false, "write_shape": [3, 2, 1024, 256]}}, "('opt_state', 'action', 'inner_states', 'backbone', 'inner_state', '1', '0', 'mu', 'PaliGemma', 'llm', 'layers_seg5', 'mlp_1', 'gating_einsum', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "backbone", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "mu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg5", "key_type": 2}, {"key": "mlp_1", "key_type": 2}, {"key": "gating_einsum", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false, "write_shape": [3, 2, 256, 4096]}}, "('opt_state', 'action', 'inner_states', 'backbone', 'inner_state', '1', '0', 'mu', 'PaliGemma', 'llm', 'layers_seg5', 'mlp_1', 'linear', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "backbone", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "mu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg5", "key_type": 2}, {"key": "mlp_1", "key_type": 2}, {"key": "linear", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false, "write_shape": [3, 1024, 1024]}}, "('opt_state', 'action', 'inner_states', 'backbone', 'inner_state', '1', '0', 'mu', 'PaliGemma', 'llm', 'layers_seg5', 'pre_attention_norm_1', 'Dense_0', 'bias', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "backbone", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "mu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg5", "key_type": 2}, {"key": "pre_attention_norm_1", "key_type": 2}, {"key": "Dense_0", "key_type": 2}, {"key": "bias", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false, "write_shape": [3, 768]}}, "('opt_state', 'action', 'inner_states', 'backbone', 'inner_state', '1', '0', 'mu', 'PaliGemma', 'llm', 'layers_seg5', 'pre_attention_norm_1', 'Dense_0', 'kernel', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "backbone", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "mu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg5", "key_type": 2}, {"key": "pre_attention_norm_1", "key_type": 2}, {"key": "Dense_0", "key_type": 2}, {"key": "kernel", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false, "write_shape": [3, 256, 3072]}}, "('opt_state', 'action', 'inner_states', 'backbone', 'inner_state', '1', '0', 'mu', 'PaliGemma', 'llm', 'layers_seg5', 'pre_ffw_norm_1', 'Dense_0', 'bias', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "backbone", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "mu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg5", "key_type": 2}, {"key": "pre_ffw_norm_1", "key_type": 2}, {"key": "Dense_0", "key_type": 2}, {"key": "bias", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false, "write_shape": [3, 768]}}, "('opt_state', 'action', 'inner_states', 'backbone', 'inner_state', '1', '0', 'mu', 'PaliGemma', 'llm', 'layers_seg5', 'pre_ffw_norm_1', 'Dense_0', 'kernel', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "backbone", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "mu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg5", "key_type": 2}, {"key": "pre_ffw_norm_1", "key_type": 2}, {"key": "Dense_0", "key_type": 2}, {"key": "kernel", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false, "write_shape": [3, 256, 3072]}}, "('opt_state', 'action', 'inner_states', 'backbone', 'inner_state', '1', '0', 'mu', 'PaliGemma', 'llm', 'layers_seg6', 'attn', 'attn_vec_einsum_1', 'w', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "backbone", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "mu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg6", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "attn_vec_einsum_1", "key_type": 2}, {"key": "w", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false, "write_shape": [1, 2, 256, 1024]}}, "('opt_state', 'action', 'inner_states', 'backbone', 'inner_state', '1', '0', 'mu', 'PaliGemma', 'llm', 'layers_seg6', 'attn', 'kv_einsum_1', 'w', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "backbone", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "mu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg6", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "kv_einsum_1", "key_type": 2}, {"key": "w", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false, "write_shape": [1, 2, 1, 256, 256]}}, "('opt_state', 'action', 'inner_states', 'backbone', 'inner_state', '1', '0', 'mu', 'PaliGemma', 'llm', 'layers_seg6', 'attn', 'q_einsum_1', 'w', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "backbone", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "mu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg6", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "q_einsum_1", "key_type": 2}, {"key": "w", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false, "write_shape": [1, 2, 1024, 256]}}, "('opt_state', 'action', 'inner_states', 'backbone', 'inner_state', '1', '0', 'mu', 'PaliGemma', 'llm', 'layers_seg6', 'mlp_1', 'gating_einsum', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "backbone", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "mu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg6", "key_type": 2}, {"key": "mlp_1", "key_type": 2}, {"key": "gating_einsum", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false, "write_shape": [1, 2, 256, 4096]}}, "('opt_state', 'action', 'inner_states', 'backbone', 'inner_state', '1', '0', 'mu', 'PaliGemma', 'llm', 'layers_seg6', 'mlp_1', 'linear', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "backbone", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "mu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg6", "key_type": 2}, {"key": "mlp_1", "key_type": 2}, {"key": "linear", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false, "write_shape": [1, 1024, 1024]}}, "('opt_state', 'action', 'inner_states', 'backbone', 'inner_state', '1', '0', 'mu', 'PaliGemma', 'llm', 'layers_seg6', 'pre_attention_norm_1', 'Dense_0', 'bias', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "backbone", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "mu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg6", "key_type": 2}, {"key": "pre_attention_norm_1", "key_type": 2}, {"key": "Dense_0", "key_type": 2}, {"key": "bias", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false, "write_shape": [1, 768]}}, "('opt_state', 'action', 'inner_states', 'backbone', 'inner_state', '1', '0', 'mu', 'PaliGemma', 'llm', 'layers_seg6', 'pre_attention_norm_1', 'Dense_0', 'kernel', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "backbone", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "mu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg6", "key_type": 2}, {"key": "pre_attention_norm_1", "key_type": 2}, {"key": "Dense_0", "key_type": 2}, {"key": "kernel", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false, "write_shape": [1, 256, 3072]}}, "('opt_state', 'action', 'inner_states', 'backbone', 'inner_state', '1', '0', 'mu', 'PaliGemma', 'llm', 'layers_seg6', 'pre_ffw_norm_1', 'Dense_0', 'bias', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "backbone", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "mu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg6", "key_type": 2}, {"key": "pre_ffw_norm_1", "key_type": 2}, {"key": "Dense_0", "key_type": 2}, {"key": "bias", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false, "write_shape": [1, 768]}}, "('opt_state', 'action', 'inner_states', 'backbone', 'inner_state', '1', '0', 'mu', 'PaliGemma', 'llm', 'layers_seg6', 'pre_ffw_norm_1', 'Dense_0', 'kernel', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "backbone", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "mu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg6", "key_type": 2}, {"key": "pre_ffw_norm_1", "key_type": 2}, {"key": "Dense_0", "key_type": 2}, {"key": "kernel", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false, "write_shape": [1, 256, 3072]}}, "('opt_state', 'action', 'inner_states', 'backbone', 'inner_state', '1', '0', 'mu', 'action_in_proj', 'bias', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "backbone", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "mu", "key_type": 2}, {"key": "action_in_proj", "key_type": 2}, {"key": "bias", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false, "write_shape": [256]}}, "('opt_state', 'action', 'inner_states', 'backbone', 'inner_state', '1', '0', 'mu', 'action_in_proj', 'kernel', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "backbone", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "mu", "key_type": 2}, {"key": "action_in_proj", "key_type": 2}, {"key": "kernel", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false, "write_shape": [8, 1024]}}, "('opt_state', 'action', 'inner_states', 'backbone', 'inner_state', '1', '0', 'mu', 'action_out_proj', 'bias', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "backbone", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "mu", "key_type": 2}, {"key": "action_out_proj", "key_type": 2}, {"key": "bias", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false, "write_shape": [8]}}, "('opt_state', 'action', 'inner_states', 'backbone', 'inner_state', '1', '0', 'mu', 'action_out_proj', 'kernel', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "backbone", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "mu", "key_type": 2}, {"key": "action_out_proj", "key_type": 2}, {"key": "kernel", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false, "write_shape": [256, 32]}}, "('opt_state', 'action', 'inner_states', 'backbone', 'inner_state', '1', '0', 'mu', 'time_mlp_in', 'bias', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "backbone", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "mu", "key_type": 2}, {"key": "time_mlp_in", "key_type": 2}, {"key": "bias", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false, "write_shape": [256]}}, "('opt_state', 'action', 'inner_states', 'backbone', 'inner_state', '1', '0', 'mu', 'time_mlp_in', 'kernel', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "backbone", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "mu", "key_type": 2}, {"key": "time_mlp_in", "key_type": 2}, {"key": "kernel", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false, "write_shape": [256, 1024]}}, "('opt_state', 'action', 'inner_states', 'backbone', 'inner_state', '1', '0', 'mu', 'time_mlp_out', 'bias', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "backbone", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "mu", "key_type": 2}, {"key": "time_mlp_out", "key_type": 2}, {"key": "bias", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false, "write_shape": [256]}}, "('opt_state', 'action', 'inner_states', 'backbone', 'inner_state', '1', '0', 'mu', 'time_mlp_out', 'kernel', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "backbone", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "mu", "key_type": 2}, {"key": "time_mlp_out", "key_type": 2}, {"key": "kernel", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false, "write_shape": [256, 1024]}}, "('opt_state', 'action', 'inner_states', 'backbone', 'inner_state', '1', '0', 'nu', 'PaliGemma', 'llm', 'final_norm_1', 'Dense_0', 'bias', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "backbone", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "nu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "final_norm_1", "key_type": 2}, {"key": "Dense_0", "key_type": 2}, {"key": "bias", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false, "write_shape": [768]}}, "('opt_state', 'action', 'inner_states', 'backbone', 'inner_state', '1', '0', 'nu', 'PaliGemma', 'llm', 'final_norm_1', 'Dense_0', 'kernel', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "backbone", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "nu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "final_norm_1", "key_type": 2}, {"key": "Dense_0", "key_type": 2}, {"key": "kernel", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false, "write_shape": [256, 3072]}}, "('opt_state', 'action', 'inner_states', 'backbone', 'inner_state', '1', '0', 'nu', 'PaliGemma', 'llm', 'layers_seg0', 'attn', 'attn_vec_einsum_1', 'w', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "backbone", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "nu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg0", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "attn_vec_einsum_1", "key_type": 2}, {"key": "w", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false, "write_shape": [2, 2, 256, 1024]}}, "('opt_state', 'action', 'inner_states', 'backbone', 'inner_state', '1', '0', 'nu', 'PaliGemma', 'llm', 'layers_seg0', 'attn', 'kv_einsum_1', 'w', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "backbone", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "nu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg0", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "kv_einsum_1", "key_type": 2}, {"key": "w", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false, "write_shape": [2, 2, 1, 256, 256]}}, "('opt_state', 'action', 'inner_states', 'backbone', 'inner_state', '1', '0', 'nu', 'PaliGemma', 'llm', 'layers_seg0', 'attn', 'q_einsum_1', 'w', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "backbone", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "nu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg0", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "q_einsum_1", "key_type": 2}, {"key": "w", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false, "write_shape": [2, 2, 1024, 256]}}, "('opt_state', 'action', 'inner_states', 'backbone', 'inner_state', '1', '0', 'nu', 'PaliGemma', 'llm', 'layers_seg0', 'mlp_1', 'gating_einsum', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "backbone", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "nu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg0", "key_type": 2}, {"key": "mlp_1", "key_type": 2}, {"key": "gating_einsum", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false, "write_shape": [2, 2, 256, 4096]}}, "('opt_state', 'action', 'inner_states', 'backbone', 'inner_state', '1', '0', 'nu', 'PaliGemma', 'llm', 'layers_seg0', 'mlp_1', 'linear', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "backbone", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "nu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg0", "key_type": 2}, {"key": "mlp_1", "key_type": 2}, {"key": "linear", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false, "write_shape": [2, 1024, 1024]}}, "('opt_state', 'action', 'inner_states', 'backbone', 'inner_state', '1', '0', 'nu', 'PaliGemma', 'llm', 'layers_seg0', 'pre_attention_norm_1', 'Dense_0', 'bias', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "backbone", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "nu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg0", "key_type": 2}, {"key": "pre_attention_norm_1", "key_type": 2}, {"key": "Dense_0", "key_type": 2}, {"key": "bias", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false, "write_shape": [2, 768]}}, "('opt_state', 'action', 'inner_states', 'backbone', 'inner_state', '1', '0', 'nu', 'PaliGemma', 'llm', 'layers_seg0', 'pre_attention_norm_1', 'Dense_0', 'kernel', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "backbone", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "nu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg0", "key_type": 2}, {"key": "pre_attention_norm_1", "key_type": 2}, {"key": "Dense_0", "key_type": 2}, {"key": "kernel", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false, "write_shape": [2, 256, 3072]}}, "('opt_state', 'action', 'inner_states', 'backbone', 'inner_state', '1', '0', 'nu', 'PaliGemma', 'llm', 'layers_seg0', 'pre_ffw_norm_1', 'Dense_0', 'bias', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "backbone", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "nu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg0", "key_type": 2}, {"key": "pre_ffw_norm_1", "key_type": 2}, {"key": "Dense_0", "key_type": 2}, {"key": "bias", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false, "write_shape": [2, 768]}}, "('opt_state', 'action', 'inner_states', 'backbone', 'inner_state', '1', '0', 'nu', 'PaliGemma', 'llm', 'layers_seg0', 'pre_ffw_norm_1', 'Dense_0', 'kernel', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "backbone", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "nu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg0", "key_type": 2}, {"key": "pre_ffw_norm_1", "key_type": 2}, {"key": "Dense_0", "key_type": 2}, {"key": "kernel", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false, "write_shape": [2, 256, 3072]}}, "('opt_state', 'action', 'inner_states', 'backbone', 'inner_state', '1', '0', 'nu', 'PaliGemma', 'llm', 'layers_seg1', 'attn', 'attn_vec_einsum_1', 'w', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "backbone", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "nu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg1", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "attn_vec_einsum_1", "key_type": 2}, {"key": "w", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false, "write_shape": [3, 2, 256, 1024]}}, "('opt_state', 'action', 'inner_states', 'backbone', 'inner_state', '1', '0', 'nu', 'PaliGemma', 'llm', 'layers_seg1', 'attn', 'kv_einsum_1', 'w', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "backbone", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "nu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg1", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "kv_einsum_1", "key_type": 2}, {"key": "w", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false, "write_shape": [3, 2, 1, 256, 256]}}, "('opt_state', 'action', 'inner_states', 'backbone', 'inner_state', '1', '0', 'nu', 'PaliGemma', 'llm', 'layers_seg1', 'attn', 'q_einsum_1', 'w', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "backbone", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "nu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg1", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "q_einsum_1", "key_type": 2}, {"key": "w", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false, "write_shape": [3, 2, 1024, 256]}}, "('opt_state', 'action', 'inner_states', 'backbone', 'inner_state', '1', '0', 'nu', 'PaliGemma', 'llm', 'layers_seg1', 'mlp_1', 'gating_einsum', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "backbone", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "nu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg1", "key_type": 2}, {"key": "mlp_1", "key_type": 2}, {"key": "gating_einsum", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false, "write_shape": [3, 2, 256, 4096]}}, "('opt_state', 'action', 'inner_states', 'backbone', 'inner_state', '1', '0', 'nu', 'PaliGemma', 'llm', 'layers_seg1', 'mlp_1', 'linear', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "backbone", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "nu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg1", "key_type": 2}, {"key": "mlp_1", "key_type": 2}, {"key": "linear", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false, "write_shape": [3, 1024, 1024]}}, "('opt_state', 'action', 'inner_states', 'backbone', 'inner_state', '1', '0', 'nu', 'PaliGemma', 'llm', 'layers_seg1', 'pre_attention_norm_1', 'Dense_0', 'bias', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "backbone", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "nu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg1", "key_type": 2}, {"key": "pre_attention_norm_1", "key_type": 2}, {"key": "Dense_0", "key_type": 2}, {"key": "bias", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false, "write_shape": [3, 768]}}, "('opt_state', 'action', 'inner_states', 'backbone', 'inner_state', '1', '0', 'nu', 'PaliGemma', 'llm', 'layers_seg1', 'pre_attention_norm_1', 'Dense_0', 'kernel', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "backbone", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "nu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg1", "key_type": 2}, {"key": "pre_attention_norm_1", "key_type": 2}, {"key": "Dense_0", "key_type": 2}, {"key": "kernel", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false, "write_shape": [3, 256, 3072]}}, "('opt_state', 'action', 'inner_states', 'backbone', 'inner_state', '1', '0', 'nu', 'PaliGemma', 'llm', 'layers_seg1', 'pre_ffw_norm_1', 'Dense_0', 'bias', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "backbone", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "nu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg1", "key_type": 2}, {"key": "pre_ffw_norm_1", "key_type": 2}, {"key": "Dense_0", "key_type": 2}, {"key": "bias", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false, "write_shape": [3, 768]}}, "('opt_state', 'action', 'inner_states', 'backbone', 'inner_state', '1', '0', 'nu', 'PaliGemma', 'llm', 'layers_seg1', 'pre_ffw_norm_1', 'Dense_0', 'kernel', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "backbone", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "nu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg1", "key_type": 2}, {"key": "pre_ffw_norm_1", "key_type": 2}, {"key": "Dense_0", "key_type": 2}, {"key": "kernel", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false, "write_shape": [3, 256, 3072]}}, "('opt_state', 'action', 'inner_states', 'backbone', 'inner_state', '1', '0', 'nu', 'PaliGemma', 'llm', 'layers_seg2', 'attn', 'attn_vec_einsum_1', 'w', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "backbone", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "nu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg2", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "attn_vec_einsum_1", "key_type": 2}, {"key": "w", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false, "write_shape": [3, 2, 256, 1024]}}, "('opt_state', 'action', 'inner_states', 'backbone', 'inner_state', '1', '0', 'nu', 'PaliGemma', 'llm', 'layers_seg2', 'attn', 'kv_einsum_1', 'w', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "backbone", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "nu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg2", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "kv_einsum_1", "key_type": 2}, {"key": "w", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false, "write_shape": [3, 2, 1, 256, 256]}}, "('opt_state', 'action', 'inner_states', 'backbone', 'inner_state', '1', '0', 'nu', 'PaliGemma', 'llm', 'layers_seg2', 'attn', 'q_einsum_1', 'w', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "backbone", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "nu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg2", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "q_einsum_1", "key_type": 2}, {"key": "w", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false, "write_shape": [3, 2, 1024, 256]}}, "('opt_state', 'action', 'inner_states', 'backbone', 'inner_state', '1', '0', 'nu', 'PaliGemma', 'llm', 'layers_seg2', 'mlp_1', 'gating_einsum', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "backbone", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "nu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg2", "key_type": 2}, {"key": "mlp_1", "key_type": 2}, {"key": "gating_einsum", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false, "write_shape": [3, 2, 256, 4096]}}, "('opt_state', 'action', 'inner_states', 'backbone', 'inner_state', '1', '0', 'nu', 'PaliGemma', 'llm', 'layers_seg2', 'mlp_1', 'linear', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "backbone", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "nu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg2", "key_type": 2}, {"key": "mlp_1", "key_type": 2}, {"key": "linear", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false, "write_shape": [3, 1024, 1024]}}, "('opt_state', 'action', 'inner_states', 'backbone', 'inner_state', '1', '0', 'nu', 'PaliGemma', 'llm', 'layers_seg2', 'pre_attention_norm_1', 'Dense_0', 'bias', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "backbone", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "nu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg2", "key_type": 2}, {"key": "pre_attention_norm_1", "key_type": 2}, {"key": "Dense_0", "key_type": 2}, {"key": "bias", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false, "write_shape": [3, 768]}}, "('opt_state', 'action', 'inner_states', 'backbone', 'inner_state', '1', '0', 'nu', 'PaliGemma', 'llm', 'layers_seg2', 'pre_attention_norm_1', 'Dense_0', 'kernel', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "backbone", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "nu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg2", "key_type": 2}, {"key": "pre_attention_norm_1", "key_type": 2}, {"key": "Dense_0", "key_type": 2}, {"key": "kernel", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false, "write_shape": [3, 256, 3072]}}, "('opt_state', 'action', 'inner_states', 'backbone', 'inner_state', '1', '0', 'nu', 'PaliGemma', 'llm', 'layers_seg2', 'pre_ffw_norm_1', 'Dense_0', 'bias', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "backbone", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "nu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg2", "key_type": 2}, {"key": "pre_ffw_norm_1", "key_type": 2}, {"key": "Dense_0", "key_type": 2}, {"key": "bias", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false, "write_shape": [3, 768]}}, "('opt_state', 'action', 'inner_states', 'backbone', 'inner_state', '1', '0', 'nu', 'PaliGemma', 'llm', 'layers_seg2', 'pre_ffw_norm_1', 'Dense_0', 'kernel', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "backbone", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "nu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg2", "key_type": 2}, {"key": "pre_ffw_norm_1", "key_type": 2}, {"key": "Dense_0", "key_type": 2}, {"key": "kernel", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false, "write_shape": [3, 256, 3072]}}, "('opt_state', 'action', 'inner_states', 'backbone', 'inner_state', '1', '0', 'nu', 'PaliGemma', 'llm', 'layers_seg3', 'attn', 'attn_vec_einsum_1', 'w', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "backbone", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "nu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg3", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "attn_vec_einsum_1", "key_type": 2}, {"key": "w", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false, "write_shape": [3, 2, 256, 1024]}}, "('opt_state', 'action', 'inner_states', 'backbone', 'inner_state', '1', '0', 'nu', 'PaliGemma', 'llm', 'layers_seg3', 'attn', 'kv_einsum_1', 'w', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "backbone", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "nu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg3", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "kv_einsum_1", "key_type": 2}, {"key": "w", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false, "write_shape": [3, 2, 1, 256, 256]}}, "('opt_state', 'action', 'inner_states', 'backbone', 'inner_state', '1', '0', 'nu', 'PaliGemma', 'llm', 'layers_seg3', 'attn', 'q_einsum_1', 'w', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "backbone", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "nu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg3", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "q_einsum_1", "key_type": 2}, {"key": "w", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false, "write_shape": [3, 2, 1024, 256]}}, "('opt_state', 'action', 'inner_states', 'backbone', 'inner_state', '1', '0', 'nu', 'PaliGemma', 'llm', 'layers_seg3', 'mlp_1', 'gating_einsum', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "backbone", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "nu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg3", "key_type": 2}, {"key": "mlp_1", "key_type": 2}, {"key": "gating_einsum", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false, "write_shape": [3, 2, 256, 4096]}}, "('opt_state', 'action', 'inner_states', 'backbone', 'inner_state', '1', '0', 'nu', 'PaliGemma', 'llm', 'layers_seg3', 'mlp_1', 'linear', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "backbone", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "nu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg3", "key_type": 2}, {"key": "mlp_1", "key_type": 2}, {"key": "linear", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false, "write_shape": [3, 1024, 1024]}}, "('opt_state', 'action', 'inner_states', 'backbone', 'inner_state', '1', '0', 'nu', 'PaliGemma', 'llm', 'layers_seg3', 'pre_attention_norm_1', 'Dense_0', 'bias', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "backbone", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "nu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg3", "key_type": 2}, {"key": "pre_attention_norm_1", "key_type": 2}, {"key": "Dense_0", "key_type": 2}, {"key": "bias", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false, "write_shape": [3, 768]}}, "('opt_state', 'action', 'inner_states', 'backbone', 'inner_state', '1', '0', 'nu', 'PaliGemma', 'llm', 'layers_seg3', 'pre_attention_norm_1', 'Dense_0', 'kernel', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "backbone", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "nu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg3", "key_type": 2}, {"key": "pre_attention_norm_1", "key_type": 2}, {"key": "Dense_0", "key_type": 2}, {"key": "kernel", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false, "write_shape": [3, 256, 3072]}}, "('opt_state', 'action', 'inner_states', 'backbone', 'inner_state', '1', '0', 'nu', 'PaliGemma', 'llm', 'layers_seg3', 'pre_ffw_norm_1', 'Dense_0', 'bias', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "backbone", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "nu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg3", "key_type": 2}, {"key": "pre_ffw_norm_1", "key_type": 2}, {"key": "Dense_0", "key_type": 2}, {"key": "bias", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false, "write_shape": [3, 768]}}, "('opt_state', 'action', 'inner_states', 'backbone', 'inner_state', '1', '0', 'nu', 'PaliGemma', 'llm', 'layers_seg3', 'pre_ffw_norm_1', 'Dense_0', 'kernel', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "backbone", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "nu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg3", "key_type": 2}, {"key": "pre_ffw_norm_1", "key_type": 2}, {"key": "Dense_0", "key_type": 2}, {"key": "kernel", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false, "write_shape": [3, 256, 3072]}}, "('opt_state', 'action', 'inner_states', 'backbone', 'inner_state', '1', '0', 'nu', 'PaliGemma', 'llm', 'layers_seg4', 'attn', 'attn_vec_einsum_1', 'w', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "backbone", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "nu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg4", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "attn_vec_einsum_1", "key_type": 2}, {"key": "w", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false, "write_shape": [3, 2, 256, 1024]}}, "('opt_state', 'action', 'inner_states', 'backbone', 'inner_state', '1', '0', 'nu', 'PaliGemma', 'llm', 'layers_seg4', 'attn', 'kv_einsum_1', 'w', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "backbone", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "nu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg4", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "kv_einsum_1", "key_type": 2}, {"key": "w", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false, "write_shape": [3, 2, 1, 256, 256]}}, "('opt_state', 'action', 'inner_states', 'backbone', 'inner_state', '1', '0', 'nu', 'PaliGemma', 'llm', 'layers_seg4', 'attn', 'q_einsum_1', 'w', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "backbone", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "nu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg4", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "q_einsum_1", "key_type": 2}, {"key": "w", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false, "write_shape": [3, 2, 1024, 256]}}, "('opt_state', 'action', 'inner_states', 'backbone', 'inner_state', '1', '0', 'nu', 'PaliGemma', 'llm', 'layers_seg4', 'mlp_1', 'gating_einsum', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "backbone", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "nu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg4", "key_type": 2}, {"key": "mlp_1", "key_type": 2}, {"key": "gating_einsum", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false, "write_shape": [3, 2, 256, 4096]}}, "('opt_state', 'action', 'inner_states', 'backbone', 'inner_state', '1', '0', 'nu', 'PaliGemma', 'llm', 'layers_seg4', 'mlp_1', 'linear', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "backbone", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "nu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg4", "key_type": 2}, {"key": "mlp_1", "key_type": 2}, {"key": "linear", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false, "write_shape": [3, 1024, 1024]}}, "('opt_state', 'action', 'inner_states', 'backbone', 'inner_state', '1', '0', 'nu', 'PaliGemma', 'llm', 'layers_seg4', 'pre_attention_norm_1', 'Dense_0', 'bias', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "backbone", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "nu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg4", "key_type": 2}, {"key": "pre_attention_norm_1", "key_type": 2}, {"key": "Dense_0", "key_type": 2}, {"key": "bias", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false, "write_shape": [3, 768]}}, "('opt_state', 'action', 'inner_states', 'backbone', 'inner_state', '1', '0', 'nu', 'PaliGemma', 'llm', 'layers_seg4', 'pre_attention_norm_1', 'Dense_0', 'kernel', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "backbone", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "nu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg4", "key_type": 2}, {"key": "pre_attention_norm_1", "key_type": 2}, {"key": "Dense_0", "key_type": 2}, {"key": "kernel", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false, "write_shape": [3, 256, 3072]}}, "('opt_state', 'action', 'inner_states', 'backbone', 'inner_state', '1', '0', 'nu', 'PaliGemma', 'llm', 'layers_seg4', 'pre_ffw_norm_1', 'Dense_0', 'bias', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "backbone", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "nu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg4", "key_type": 2}, {"key": "pre_ffw_norm_1", "key_type": 2}, {"key": "Dense_0", "key_type": 2}, {"key": "bias", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false, "write_shape": [3, 768]}}, "('opt_state', 'action', 'inner_states', 'backbone', 'inner_state', '1', '0', 'nu', 'PaliGemma', 'llm', 'layers_seg4', 'pre_ffw_norm_1', 'Dense_0', 'kernel', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "backbone", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "nu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg4", "key_type": 2}, {"key": "pre_ffw_norm_1", "key_type": 2}, {"key": "Dense_0", "key_type": 2}, {"key": "kernel", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false, "write_shape": [3, 256, 3072]}}, "('opt_state', 'action', 'inner_states', 'backbone', 'inner_state', '1', '0', 'nu', 'PaliGemma', 'llm', 'layers_seg5', 'attn', 'attn_vec_einsum_1', 'w', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "backbone", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "nu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg5", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "attn_vec_einsum_1", "key_type": 2}, {"key": "w", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false, "write_shape": [3, 2, 256, 1024]}}, "('opt_state', 'action', 'inner_states', 'backbone', 'inner_state', '1', '0', 'nu', 'PaliGemma', 'llm', 'layers_seg5', 'attn', 'kv_einsum_1', 'w', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "backbone", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "nu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg5", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "kv_einsum_1", "key_type": 2}, {"key": "w", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false, "write_shape": [3, 2, 1, 256, 256]}}, "('opt_state', 'action', 'inner_states', 'backbone', 'inner_state', '1', '0', 'nu', 'PaliGemma', 'llm', 'layers_seg5', 'attn', 'q_einsum_1', 'w', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "backbone", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "nu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg5", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "q_einsum_1", "key_type": 2}, {"key": "w", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false, "write_shape": [3, 2, 1024, 256]}}, "('opt_state', 'action', 'inner_states', 'backbone', 'inner_state', '1', '0', 'nu', 'PaliGemma', 'llm', 'layers_seg5', 'mlp_1', 'gating_einsum', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "backbone", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "nu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg5", "key_type": 2}, {"key": "mlp_1", "key_type": 2}, {"key": "gating_einsum", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false, "write_shape": [3, 2, 256, 4096]}}, "('opt_state', 'action', 'inner_states', 'backbone', 'inner_state', '1', '0', 'nu', 'PaliGemma', 'llm', 'layers_seg5', 'mlp_1', 'linear', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "backbone", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "nu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg5", "key_type": 2}, {"key": "mlp_1", "key_type": 2}, {"key": "linear", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false, "write_shape": [3, 1024, 1024]}}, "('opt_state', 'action', 'inner_states', 'backbone', 'inner_state', '1', '0', 'nu', 'PaliGemma', 'llm', 'layers_seg5', 'pre_attention_norm_1', 'Dense_0', 'bias', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "backbone", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "nu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg5", "key_type": 2}, {"key": "pre_attention_norm_1", "key_type": 2}, {"key": "Dense_0", "key_type": 2}, {"key": "bias", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false, "write_shape": [3, 768]}}, "('opt_state', 'action', 'inner_states', 'backbone', 'inner_state', '1', '0', 'nu', 'PaliGemma', 'llm', 'layers_seg5', 'pre_attention_norm_1', 'Dense_0', 'kernel', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "backbone", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "nu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg5", "key_type": 2}, {"key": "pre_attention_norm_1", "key_type": 2}, {"key": "Dense_0", "key_type": 2}, {"key": "kernel", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false, "write_shape": [3, 256, 3072]}}, "('opt_state', 'action', 'inner_states', 'backbone', 'inner_state', '1', '0', 'nu', 'PaliGemma', 'llm', 'layers_seg5', 'pre_ffw_norm_1', 'Dense_0', 'bias', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "backbone", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "nu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg5", "key_type": 2}, {"key": "pre_ffw_norm_1", "key_type": 2}, {"key": "Dense_0", "key_type": 2}, {"key": "bias", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false, "write_shape": [3, 768]}}, "('opt_state', 'action', 'inner_states', 'backbone', 'inner_state', '1', '0', 'nu', 'PaliGemma', 'llm', 'layers_seg5', 'pre_ffw_norm_1', 'Dense_0', 'kernel', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "backbone", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "nu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg5", "key_type": 2}, {"key": "pre_ffw_norm_1", "key_type": 2}, {"key": "Dense_0", "key_type": 2}, {"key": "kernel", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false, "write_shape": [3, 256, 3072]}}, "('opt_state', 'action', 'inner_states', 'backbone', 'inner_state', '1', '0', 'nu', 'PaliGemma', 'llm', 'layers_seg6', 'attn', 'attn_vec_einsum_1', 'w', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "backbone", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "nu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg6", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "attn_vec_einsum_1", "key_type": 2}, {"key": "w", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false, "write_shape": [1, 2, 256, 1024]}}, "('opt_state', 'action', 'inner_states', 'backbone', 'inner_state', '1', '0', 'nu', 'PaliGemma', 'llm', 'layers_seg6', 'attn', 'kv_einsum_1', 'w', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "backbone", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "nu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg6", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "kv_einsum_1", "key_type": 2}, {"key": "w", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false, "write_shape": [1, 2, 1, 256, 256]}}, "('opt_state', 'action', 'inner_states', 'backbone', 'inner_state', '1', '0', 'nu', 'PaliGemma', 'llm', 'layers_seg6', 'attn', 'q_einsum_1', 'w', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "backbone", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "nu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg6", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "q_einsum_1", "key_type": 2}, {"key": "w", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false, "write_shape": [1, 2, 1024, 256]}}, "('opt_state', 'action', 'inner_states', 'backbone', 'inner_state', '1', '0', 'nu', 'PaliGemma', 'llm', 'layers_seg6', 'mlp_1', 'gating_einsum', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "backbone", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "nu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg6", "key_type": 2}, {"key": "mlp_1", "key_type": 2}, {"key": "gating_einsum", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false, "write_shape": [1, 2, 256, 4096]}}, "('opt_state', 'action', 'inner_states', 'backbone', 'inner_state', '1', '0', 'nu', 'PaliGemma', 'llm', 'layers_seg6', 'mlp_1', 'linear', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "backbone", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "nu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg6", "key_type": 2}, {"key": "mlp_1", "key_type": 2}, {"key": "linear", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false, "write_shape": [1, 1024, 1024]}}, "('opt_state', 'action', 'inner_states', 'backbone', 'inner_state', '1', '0', 'nu', 'PaliGemma', 'llm', 'layers_seg6', 'pre_attention_norm_1', 'Dense_0', 'bias', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "backbone", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "nu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg6", "key_type": 2}, {"key": "pre_attention_norm_1", "key_type": 2}, {"key": "Dense_0", "key_type": 2}, {"key": "bias", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false, "write_shape": [1, 768]}}, "('opt_state', 'action', 'inner_states', 'backbone', 'inner_state', '1', '0', 'nu', 'PaliGemma', 'llm', 'layers_seg6', 'pre_attention_norm_1', 'Dense_0', 'kernel', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "backbone", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "nu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg6", "key_type": 2}, {"key": "pre_attention_norm_1", "key_type": 2}, {"key": "Dense_0", "key_type": 2}, {"key": "kernel", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false, "write_shape": [1, 256, 3072]}}, "('opt_state', 'action', 'inner_states', 'backbone', 'inner_state', '1', '0', 'nu', 'PaliGemma', 'llm', 'layers_seg6', 'pre_ffw_norm_1', 'Dense_0', 'bias', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "backbone", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "nu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg6", "key_type": 2}, {"key": "pre_ffw_norm_1", "key_type": 2}, {"key": "Dense_0", "key_type": 2}, {"key": "bias", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false, "write_shape": [1, 768]}}, "('opt_state', 'action', 'inner_states', 'backbone', 'inner_state', '1', '0', 'nu', 'PaliGemma', 'llm', 'layers_seg6', 'pre_ffw_norm_1', 'Dense_0', 'kernel', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "backbone", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "nu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg6", "key_type": 2}, {"key": "pre_ffw_norm_1", "key_type": 2}, {"key": "Dense_0", "key_type": 2}, {"key": "kernel", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false, "write_shape": [1, 256, 3072]}}, "('opt_state', 'action', 'inner_states', 'backbone', 'inner_state', '1', '0', 'nu', 'action_in_proj', 'bias', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "backbone", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "nu", "key_type": 2}, {"key": "action_in_proj", "key_type": 2}, {"key": "bias", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false, "write_shape": [256]}}, "('opt_state', 'action', 'inner_states', 'backbone', 'inner_state', '1', '0', 'nu', 'action_in_proj', 'kernel', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "backbone", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "nu", "key_type": 2}, {"key": "action_in_proj", "key_type": 2}, {"key": "kernel", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false, "write_shape": [8, 1024]}}, "('opt_state', 'action', 'inner_states', 'backbone', 'inner_state', '1', '0', 'nu', 'action_out_proj', 'bias', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "backbone", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "nu", "key_type": 2}, {"key": "action_out_proj", "key_type": 2}, {"key": "bias", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false, "write_shape": [8]}}, "('opt_state', 'action', 'inner_states', 'backbone', 'inner_state', '1', '0', 'nu', 'action_out_proj', 'kernel', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "backbone", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "nu", "key_type": 2}, {"key": "action_out_proj", "key_type": 2}, {"key": "kernel", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false, "write_shape": [256, 32]}}, "('opt_state', 'action', 'inner_states', 'backbone', 'inner_state', '1', '0', 'nu', 'time_mlp_in', 'bias', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "backbone", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "nu", "key_type": 2}, {"key": "time_mlp_in", "key_type": 2}, {"key": "bias", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false, "write_shape": [256]}}, "('opt_state', 'action', 'inner_states', 'backbone', 'inner_state', '1', '0', 'nu', 'time_mlp_in', 'kernel', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "backbone", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "nu", "key_type": 2}, {"key": "time_mlp_in", "key_type": 2}, {"key": "kernel", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false, "write_shape": [256, 1024]}}, "('opt_state', 'action', 'inner_states', 'backbone', 'inner_state', '1', '0', 'nu', 'time_mlp_out', 'bias', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "backbone", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "nu", "key_type": 2}, {"key": "time_mlp_out", "key_type": 2}, {"key": "bias", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false, "write_shape": [256]}}, "('opt_state', 'action', 'inner_states', 'backbone', 'inner_state', '1', '0', 'nu', 'time_mlp_out', 'kernel', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "backbone", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "nu", "key_type": 2}, {"key": "time_mlp_out", "key_type": 2}, {"key": "kernel", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false, "write_shape": [256, 1024]}}, "('opt_state', 'action', 'inner_states', 'backbone', 'inner_state', '1', '1')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "backbone", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "1", "key_type": 1}], "value_metadata": {"value_type": "None", "skip_deserialize": true}}, "('opt_state', 'action', 'inner_states', 'backbone', 'inner_state', '1', '2', 'count')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "backbone", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "2", "key_type": 1}, {"key": "count", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false, "write_shape": []}}, "('opt_state', 'action', 'inner_states', 'mem', 'inner_state', '0')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "mem", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "0", "key_type": 1}], "value_metadata": {"value_type": "None", "skip_deserialize": true}}, "('opt_state', 'action', 'inner_states', 'mem', 'inner_state', '1', '0', 'count')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "mem", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "count", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false, "write_shape": []}}, "('opt_state', 'action', 'inner_states', 'mem', 'inner_state', '1', '0', 'mu', 'PaliGemma', 'llm', 'final_norm_1', 'Dense_0', 'bias', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "mem", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "mu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "final_norm_1", "key_type": 2}, {"key": "Dense_0", "key_type": 2}, {"key": "bias", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "None", "skip_deserialize": true}}, "('opt_state', 'action', 'inner_states', 'mem', 'inner_state', '1', '0', 'mu', 'PaliGemma', 'llm', 'final_norm_1', 'Dense_0', 'kernel', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "mem", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "mu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "final_norm_1", "key_type": 2}, {"key": "Dense_0", "key_type": 2}, {"key": "kernel", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "None", "skip_deserialize": true}}, "('opt_state', 'action', 'inner_states', 'mem', 'inner_state', '1', '0', 'mu', 'PaliGemma', 'llm', 'layers_seg0', 'attn', 'attn_vec_einsum_1', 'w', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "mem", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "mu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg0", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "attn_vec_einsum_1", "key_type": 2}, {"key": "w", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "None", "skip_deserialize": true}}, "('opt_state', 'action', 'inner_states', 'mem', 'inner_state', '1', '0', 'mu', 'PaliGemma', 'llm', 'layers_seg0', 'attn', 'kv_einsum_1', 'w', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "mem", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "mu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg0", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "kv_einsum_1", "key_type": 2}, {"key": "w", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "None", "skip_deserialize": true}}, "('opt_state', 'action', 'inner_states', 'mem', 'inner_state', '1', '0', 'mu', 'PaliGemma', 'llm', 'layers_seg0', 'attn', 'q_einsum_1', 'w', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "mem", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "mu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg0", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "q_einsum_1", "key_type": 2}, {"key": "w", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "None", "skip_deserialize": true}}, "('opt_state', 'action', 'inner_states', 'mem', 'inner_state', '1', '0', 'mu', 'PaliGemma', 'llm', 'layers_seg0', 'mlp_1', 'gating_einsum', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "mem", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "mu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg0", "key_type": 2}, {"key": "mlp_1", "key_type": 2}, {"key": "gating_einsum", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "None", "skip_deserialize": true}}, "('opt_state', 'action', 'inner_states', 'mem', 'inner_state', '1', '0', 'mu', 'PaliGemma', 'llm', 'layers_seg0', 'mlp_1', 'linear', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "mem", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "mu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg0", "key_type": 2}, {"key": "mlp_1", "key_type": 2}, {"key": "linear", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "None", "skip_deserialize": true}}, "('opt_state', 'action', 'inner_states', 'mem', 'inner_state', '1', '0', 'mu', 'PaliGemma', 'llm', 'layers_seg0', 'pre_attention_norm_1', 'Dense_0', 'bias', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "mem", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "mu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg0", "key_type": 2}, {"key": "pre_attention_norm_1", "key_type": 2}, {"key": "Dense_0", "key_type": 2}, {"key": "bias", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "None", "skip_deserialize": true}}, "('opt_state', 'action', 'inner_states', 'mem', 'inner_state', '1', '0', 'mu', 'PaliGemma', 'llm', 'layers_seg0', 'pre_attention_norm_1', 'Dense_0', 'kernel', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "mem", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "mu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg0", "key_type": 2}, {"key": "pre_attention_norm_1", "key_type": 2}, {"key": "Dense_0", "key_type": 2}, {"key": "kernel", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "None", "skip_deserialize": true}}, "('opt_state', 'action', 'inner_states', 'mem', 'inner_state', '1', '0', 'mu', 'PaliGemma', 'llm', 'layers_seg0', 'pre_ffw_norm_1', 'Dense_0', 'bias', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "mem", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "mu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg0", "key_type": 2}, {"key": "pre_ffw_norm_1", "key_type": 2}, {"key": "Dense_0", "key_type": 2}, {"key": "bias", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "None", "skip_deserialize": true}}, "('opt_state', 'action', 'inner_states', 'mem', 'inner_state', '1', '0', 'mu', 'PaliGemma', 'llm', 'layers_seg0', 'pre_ffw_norm_1', 'Dense_0', 'kernel', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "mem", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "mu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg0", "key_type": 2}, {"key": "pre_ffw_norm_1", "key_type": 2}, {"key": "Dense_0", "key_type": 2}, {"key": "kernel", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "None", "skip_deserialize": true}}, "('opt_state', 'action', 'inner_states', 'mem', 'inner_state', '1', '0', 'mu', 'PaliGemma', 'llm', 'layers_seg1', 'attn', 'attn_vec_einsum_1', 'w', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "mem", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "mu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg1", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "attn_vec_einsum_1", "key_type": 2}, {"key": "w", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "None", "skip_deserialize": true}}, "('opt_state', 'action', 'inner_states', 'mem', 'inner_state', '1', '0', 'mu', 'PaliGemma', 'llm', 'layers_seg1', 'attn', 'kv_einsum_1', 'w', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "mem", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "mu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg1", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "kv_einsum_1", "key_type": 2}, {"key": "w", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "None", "skip_deserialize": true}}, "('opt_state', 'action', 'inner_states', 'mem', 'inner_state', '1', '0', 'mu', 'PaliGemma', 'llm', 'layers_seg1', 'attn', 'q_einsum_1', 'w', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "mem", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "mu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg1", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "q_einsum_1", "key_type": 2}, {"key": "w", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "None", "skip_deserialize": true}}, "('opt_state', 'action', 'inner_states', 'mem', 'inner_state', '1', '0', 'mu', 'PaliGemma', 'llm', 'layers_seg1', 'mlp_1', 'gating_einsum', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "mem", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "mu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg1", "key_type": 2}, {"key": "mlp_1", "key_type": 2}, {"key": "gating_einsum", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "None", "skip_deserialize": true}}, "('opt_state', 'action', 'inner_states', 'mem', 'inner_state', '1', '0', 'mu', 'PaliGemma', 'llm', 'layers_seg1', 'mlp_1', 'linear', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "mem", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "mu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg1", "key_type": 2}, {"key": "mlp_1", "key_type": 2}, {"key": "linear", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "None", "skip_deserialize": true}}, "('opt_state', 'action', 'inner_states', 'mem', 'inner_state', '1', '0', 'mu', 'PaliGemma', 'llm', 'layers_seg1', 'pre_attention_norm_1', 'Dense_0', 'bias', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "mem", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "mu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg1", "key_type": 2}, {"key": "pre_attention_norm_1", "key_type": 2}, {"key": "Dense_0", "key_type": 2}, {"key": "bias", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "None", "skip_deserialize": true}}, "('opt_state', 'action', 'inner_states', 'mem', 'inner_state', '1', '0', 'mu', 'PaliGemma', 'llm', 'layers_seg1', 'pre_attention_norm_1', 'Dense_0', 'kernel', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "mem", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "mu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg1", "key_type": 2}, {"key": "pre_attention_norm_1", "key_type": 2}, {"key": "Dense_0", "key_type": 2}, {"key": "kernel", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "None", "skip_deserialize": true}}, "('opt_state', 'action', 'inner_states', 'mem', 'inner_state', '1', '0', 'mu', 'PaliGemma', 'llm', 'layers_seg1', 'pre_ffw_norm_1', 'Dense_0', 'bias', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "mem", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "mu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg1", "key_type": 2}, {"key": "pre_ffw_norm_1", "key_type": 2}, {"key": "Dense_0", "key_type": 2}, {"key": "bias", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "None", "skip_deserialize": true}}, "('opt_state', 'action', 'inner_states', 'mem', 'inner_state', '1', '0', 'mu', 'PaliGemma', 'llm', 'layers_seg1', 'pre_ffw_norm_1', 'Dense_0', 'kernel', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "mem", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "mu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg1", "key_type": 2}, {"key": "pre_ffw_norm_1", "key_type": 2}, {"key": "Dense_0", "key_type": 2}, {"key": "kernel", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "None", "skip_deserialize": true}}, "('opt_state', 'action', 'inner_states', 'mem', 'inner_state', '1', '0', 'mu', 'PaliGemma', 'llm', 'layers_seg2', 'attn', 'attn_vec_einsum_1', 'w', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "mem", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "mu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg2", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "attn_vec_einsum_1", "key_type": 2}, {"key": "w", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "None", "skip_deserialize": true}}, "('opt_state', 'action', 'inner_states', 'mem', 'inner_state', '1', '0', 'mu', 'PaliGemma', 'llm', 'layers_seg2', 'attn', 'kv_einsum_1', 'w', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "mem", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "mu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg2", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "kv_einsum_1", "key_type": 2}, {"key": "w", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "None", "skip_deserialize": true}}, "('opt_state', 'action', 'inner_states', 'mem', 'inner_state', '1', '0', 'mu', 'PaliGemma', 'llm', 'layers_seg2', 'attn', 'q_einsum_1', 'w', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "mem", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "mu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg2", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "q_einsum_1", "key_type": 2}, {"key": "w", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "None", "skip_deserialize": true}}, "('opt_state', 'action', 'inner_states', 'mem', 'inner_state', '1', '0', 'mu', 'PaliGemma', 'llm', 'layers_seg2', 'mlp_1', 'gating_einsum', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "mem", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "mu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg2", "key_type": 2}, {"key": "mlp_1", "key_type": 2}, {"key": "gating_einsum", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "None", "skip_deserialize": true}}, "('opt_state', 'action', 'inner_states', 'mem', 'inner_state', '1', '0', 'mu', 'PaliGemma', 'llm', 'layers_seg2', 'mlp_1', 'linear', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "mem", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "mu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg2", "key_type": 2}, {"key": "mlp_1", "key_type": 2}, {"key": "linear", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "None", "skip_deserialize": true}}, "('opt_state', 'action', 'inner_states', 'mem', 'inner_state', '1', '0', 'mu', 'PaliGemma', 'llm', 'layers_seg2', 'pre_attention_norm_1', 'Dense_0', 'bias', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "mem", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "mu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg2", "key_type": 2}, {"key": "pre_attention_norm_1", "key_type": 2}, {"key": "Dense_0", "key_type": 2}, {"key": "bias", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "None", "skip_deserialize": true}}, "('opt_state', 'action', 'inner_states', 'mem', 'inner_state', '1', '0', 'mu', 'PaliGemma', 'llm', 'layers_seg2', 'pre_attention_norm_1', 'Dense_0', 'kernel', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "mem", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "mu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg2", "key_type": 2}, {"key": "pre_attention_norm_1", "key_type": 2}, {"key": "Dense_0", "key_type": 2}, {"key": "kernel", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "None", "skip_deserialize": true}}, "('opt_state', 'action', 'inner_states', 'mem', 'inner_state', '1', '0', 'mu', 'PaliGemma', 'llm', 'layers_seg2', 'pre_ffw_norm_1', 'Dense_0', 'bias', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "mem", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "mu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg2", "key_type": 2}, {"key": "pre_ffw_norm_1", "key_type": 2}, {"key": "Dense_0", "key_type": 2}, {"key": "bias", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "None", "skip_deserialize": true}}, "('opt_state', 'action', 'inner_states', 'mem', 'inner_state', '1', '0', 'mu', 'PaliGemma', 'llm', 'layers_seg2', 'pre_ffw_norm_1', 'Dense_0', 'kernel', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "mem", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "mu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg2", "key_type": 2}, {"key": "pre_ffw_norm_1", "key_type": 2}, {"key": "Dense_0", "key_type": 2}, {"key": "kernel", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "None", "skip_deserialize": true}}, "('opt_state', 'action', 'inner_states', 'mem', 'inner_state', '1', '0', 'mu', 'PaliGemma', 'llm', 'layers_seg3', 'attn', 'attn_vec_einsum_1', 'w', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "mem", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "mu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg3", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "attn_vec_einsum_1", "key_type": 2}, {"key": "w", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "None", "skip_deserialize": true}}, "('opt_state', 'action', 'inner_states', 'mem', 'inner_state', '1', '0', 'mu', 'PaliGemma', 'llm', 'layers_seg3', 'attn', 'kv_einsum_1', 'w', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "mem", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "mu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg3", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "kv_einsum_1", "key_type": 2}, {"key": "w", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "None", "skip_deserialize": true}}, "('opt_state', 'action', 'inner_states', 'mem', 'inner_state', '1', '0', 'mu', 'PaliGemma', 'llm', 'layers_seg3', 'attn', 'q_einsum_1', 'w', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "mem", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "mu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg3", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "q_einsum_1", "key_type": 2}, {"key": "w", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "None", "skip_deserialize": true}}, "('opt_state', 'action', 'inner_states', 'mem', 'inner_state', '1', '0', 'mu', 'PaliGemma', 'llm', 'layers_seg3', 'mlp_1', 'gating_einsum', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "mem", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "mu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg3", "key_type": 2}, {"key": "mlp_1", "key_type": 2}, {"key": "gating_einsum", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "None", "skip_deserialize": true}}, "('opt_state', 'action', 'inner_states', 'mem', 'inner_state', '1', '0', 'mu', 'PaliGemma', 'llm', 'layers_seg3', 'mlp_1', 'linear', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "mem", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "mu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg3", "key_type": 2}, {"key": "mlp_1", "key_type": 2}, {"key": "linear", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "None", "skip_deserialize": true}}, "('opt_state', 'action', 'inner_states', 'mem', 'inner_state', '1', '0', 'mu', 'PaliGemma', 'llm', 'layers_seg3', 'pre_attention_norm_1', 'Dense_0', 'bias', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "mem", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "mu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg3", "key_type": 2}, {"key": "pre_attention_norm_1", "key_type": 2}, {"key": "Dense_0", "key_type": 2}, {"key": "bias", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "None", "skip_deserialize": true}}, "('opt_state', 'action', 'inner_states', 'mem', 'inner_state', '1', '0', 'mu', 'PaliGemma', 'llm', 'layers_seg3', 'pre_attention_norm_1', 'Dense_0', 'kernel', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "mem", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "mu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg3", "key_type": 2}, {"key": "pre_attention_norm_1", "key_type": 2}, {"key": "Dense_0", "key_type": 2}, {"key": "kernel", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "None", "skip_deserialize": true}}, "('opt_state', 'action', 'inner_states', 'mem', 'inner_state', '1', '0', 'mu', 'PaliGemma', 'llm', 'layers_seg3', 'pre_ffw_norm_1', 'Dense_0', 'bias', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "mem", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "mu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg3", "key_type": 2}, {"key": "pre_ffw_norm_1", "key_type": 2}, {"key": "Dense_0", "key_type": 2}, {"key": "bias", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "None", "skip_deserialize": true}}, "('opt_state', 'action', 'inner_states', 'mem', 'inner_state', '1', '0', 'mu', 'PaliGemma', 'llm', 'layers_seg3', 'pre_ffw_norm_1', 'Dense_0', 'kernel', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "mem", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "mu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg3", "key_type": 2}, {"key": "pre_ffw_norm_1", "key_type": 2}, {"key": "Dense_0", "key_type": 2}, {"key": "kernel", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "None", "skip_deserialize": true}}, "('opt_state', 'action', 'inner_states', 'mem', 'inner_state', '1', '0', 'mu', 'PaliGemma', 'llm', 'layers_seg4', 'attn', 'attn_vec_einsum_1', 'w', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "mem", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "mu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg4", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "attn_vec_einsum_1", "key_type": 2}, {"key": "w", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "None", "skip_deserialize": true}}, "('opt_state', 'action', 'inner_states', 'mem', 'inner_state', '1', '0', 'mu', 'PaliGemma', 'llm', 'layers_seg4', 'attn', 'kv_einsum_1', 'w', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "mem", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "mu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg4", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "kv_einsum_1", "key_type": 2}, {"key": "w", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "None", "skip_deserialize": true}}, "('opt_state', 'action', 'inner_states', 'mem', 'inner_state', '1', '0', 'mu', 'PaliGemma', 'llm', 'layers_seg4', 'attn', 'q_einsum_1', 'w', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "mem", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "mu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg4", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "q_einsum_1", "key_type": 2}, {"key": "w", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "None", "skip_deserialize": true}}, "('opt_state', 'action', 'inner_states', 'mem', 'inner_state', '1', '0', 'mu', 'PaliGemma', 'llm', 'layers_seg4', 'mlp_1', 'gating_einsum', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "mem", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "mu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg4", "key_type": 2}, {"key": "mlp_1", "key_type": 2}, {"key": "gating_einsum", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "None", "skip_deserialize": true}}, "('opt_state', 'action', 'inner_states', 'mem', 'inner_state', '1', '0', 'mu', 'PaliGemma', 'llm', 'layers_seg4', 'mlp_1', 'linear', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "mem", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "mu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg4", "key_type": 2}, {"key": "mlp_1", "key_type": 2}, {"key": "linear", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "None", "skip_deserialize": true}}, "('opt_state', 'action', 'inner_states', 'mem', 'inner_state', '1', '0', 'mu', 'PaliGemma', 'llm', 'layers_seg4', 'pre_attention_norm_1', 'Dense_0', 'bias', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "mem", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "mu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg4", "key_type": 2}, {"key": "pre_attention_norm_1", "key_type": 2}, {"key": "Dense_0", "key_type": 2}, {"key": "bias", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "None", "skip_deserialize": true}}, "('opt_state', 'action', 'inner_states', 'mem', 'inner_state', '1', '0', 'mu', 'PaliGemma', 'llm', 'layers_seg4', 'pre_attention_norm_1', 'Dense_0', 'kernel', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "mem", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "mu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg4", "key_type": 2}, {"key": "pre_attention_norm_1", "key_type": 2}, {"key": "Dense_0", "key_type": 2}, {"key": "kernel", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "None", "skip_deserialize": true}}, "('opt_state', 'action', 'inner_states', 'mem', 'inner_state', '1', '0', 'mu', 'PaliGemma', 'llm', 'layers_seg4', 'pre_ffw_norm_1', 'Dense_0', 'bias', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "mem", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "mu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg4", "key_type": 2}, {"key": "pre_ffw_norm_1", "key_type": 2}, {"key": "Dense_0", "key_type": 2}, {"key": "bias", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "None", "skip_deserialize": true}}, "('opt_state', 'action', 'inner_states', 'mem', 'inner_state', '1', '0', 'mu', 'PaliGemma', 'llm', 'layers_seg4', 'pre_ffw_norm_1', 'Dense_0', 'kernel', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "mem", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "mu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg4", "key_type": 2}, {"key": "pre_ffw_norm_1", "key_type": 2}, {"key": "Dense_0", "key_type": 2}, {"key": "kernel", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "None", "skip_deserialize": true}}, "('opt_state', 'action', 'inner_states', 'mem', 'inner_state', '1', '0', 'mu', 'PaliGemma', 'llm', 'layers_seg5', 'attn', 'attn_vec_einsum_1', 'w', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "mem", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "mu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg5", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "attn_vec_einsum_1", "key_type": 2}, {"key": "w", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "None", "skip_deserialize": true}}, "('opt_state', 'action', 'inner_states', 'mem', 'inner_state', '1', '0', 'mu', 'PaliGemma', 'llm', 'layers_seg5', 'attn', 'kv_einsum_1', 'w', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "mem", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "mu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg5", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "kv_einsum_1", "key_type": 2}, {"key": "w", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "None", "skip_deserialize": true}}, "('opt_state', 'action', 'inner_states', 'mem', 'inner_state', '1', '0', 'mu', 'PaliGemma', 'llm', 'layers_seg5', 'attn', 'q_einsum_1', 'w', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "mem", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "mu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg5", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "q_einsum_1", "key_type": 2}, {"key": "w", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "None", "skip_deserialize": true}}, "('opt_state', 'action', 'inner_states', 'mem', 'inner_state', '1', '0', 'mu', 'PaliGemma', 'llm', 'layers_seg5', 'mlp_1', 'gating_einsum', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "mem", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "mu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg5", "key_type": 2}, {"key": "mlp_1", "key_type": 2}, {"key": "gating_einsum", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "None", "skip_deserialize": true}}, "('opt_state', 'action', 'inner_states', 'mem', 'inner_state', '1', '0', 'mu', 'PaliGemma', 'llm', 'layers_seg5', 'mlp_1', 'linear', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "mem", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "mu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg5", "key_type": 2}, {"key": "mlp_1", "key_type": 2}, {"key": "linear", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "None", "skip_deserialize": true}}, "('opt_state', 'action', 'inner_states', 'mem', 'inner_state', '1', '0', 'mu', 'PaliGemma', 'llm', 'layers_seg5', 'pre_attention_norm_1', 'Dense_0', 'bias', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "mem", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "mu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg5", "key_type": 2}, {"key": "pre_attention_norm_1", "key_type": 2}, {"key": "Dense_0", "key_type": 2}, {"key": "bias", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "None", "skip_deserialize": true}}, "('opt_state', 'action', 'inner_states', 'mem', 'inner_state', '1', '0', 'mu', 'PaliGemma', 'llm', 'layers_seg5', 'pre_attention_norm_1', 'Dense_0', 'kernel', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "mem", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "mu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg5", "key_type": 2}, {"key": "pre_attention_norm_1", "key_type": 2}, {"key": "Dense_0", "key_type": 2}, {"key": "kernel", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "None", "skip_deserialize": true}}, "('opt_state', 'action', 'inner_states', 'mem', 'inner_state', '1', '0', 'mu', 'PaliGemma', 'llm', 'layers_seg5', 'pre_ffw_norm_1', 'Dense_0', 'bias', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "mem", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "mu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg5", "key_type": 2}, {"key": "pre_ffw_norm_1", "key_type": 2}, {"key": "Dense_0", "key_type": 2}, {"key": "bias", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "None", "skip_deserialize": true}}, "('opt_state', 'action', 'inner_states', 'mem', 'inner_state', '1', '0', 'mu', 'PaliGemma', 'llm', 'layers_seg5', 'pre_ffw_norm_1', 'Dense_0', 'kernel', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "mem", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "mu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg5", "key_type": 2}, {"key": "pre_ffw_norm_1", "key_type": 2}, {"key": "Dense_0", "key_type": 2}, {"key": "kernel", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "None", "skip_deserialize": true}}, "('opt_state', 'action', 'inner_states', 'mem', 'inner_state', '1', '0', 'mu', 'PaliGemma', 'llm', 'layers_seg6', 'attn', 'attn_vec_einsum_1', 'w', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "mem", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "mu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg6", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "attn_vec_einsum_1", "key_type": 2}, {"key": "w", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "None", "skip_deserialize": true}}, "('opt_state', 'action', 'inner_states', 'mem', 'inner_state', '1', '0', 'mu', 'PaliGemma', 'llm', 'layers_seg6', 'attn', 'kv_einsum_1', 'w', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "mem", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "mu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg6", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "kv_einsum_1", "key_type": 2}, {"key": "w", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "None", "skip_deserialize": true}}, "('opt_state', 'action', 'inner_states', 'mem', 'inner_state', '1', '0', 'mu', 'PaliGemma', 'llm', 'layers_seg6', 'attn', 'q_einsum_1', 'w', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "mem", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "mu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg6", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "q_einsum_1", "key_type": 2}, {"key": "w", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "None", "skip_deserialize": true}}, "('opt_state', 'action', 'inner_states', 'mem', 'inner_state', '1', '0', 'mu', 'PaliGemma', 'llm', 'layers_seg6', 'mlp_1', 'gating_einsum', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "mem", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "mu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg6", "key_type": 2}, {"key": "mlp_1", "key_type": 2}, {"key": "gating_einsum", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "None", "skip_deserialize": true}}, "('opt_state', 'action', 'inner_states', 'mem', 'inner_state', '1', '0', 'mu', 'PaliGemma', 'llm', 'layers_seg6', 'mlp_1', 'linear', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "mem", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "mu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg6", "key_type": 2}, {"key": "mlp_1", "key_type": 2}, {"key": "linear", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "None", "skip_deserialize": true}}, "('opt_state', 'action', 'inner_states', 'mem', 'inner_state', '1', '0', 'mu', 'PaliGemma', 'llm', 'layers_seg6', 'pre_attention_norm_1', 'Dense_0', 'bias', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "mem", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "mu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg6", "key_type": 2}, {"key": "pre_attention_norm_1", "key_type": 2}, {"key": "Dense_0", "key_type": 2}, {"key": "bias", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "None", "skip_deserialize": true}}, "('opt_state', 'action', 'inner_states', 'mem', 'inner_state', '1', '0', 'mu', 'PaliGemma', 'llm', 'layers_seg6', 'pre_attention_norm_1', 'Dense_0', 'kernel', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "mem", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "mu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg6", "key_type": 2}, {"key": "pre_attention_norm_1", "key_type": 2}, {"key": "Dense_0", "key_type": 2}, {"key": "kernel", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "None", "skip_deserialize": true}}, "('opt_state', 'action', 'inner_states', 'mem', 'inner_state', '1', '0', 'mu', 'PaliGemma', 'llm', 'layers_seg6', 'pre_ffw_norm_1', 'Dense_0', 'bias', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "mem", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "mu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg6", "key_type": 2}, {"key": "pre_ffw_norm_1", "key_type": 2}, {"key": "Dense_0", "key_type": 2}, {"key": "bias", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "None", "skip_deserialize": true}}, "('opt_state', 'action', 'inner_states', 'mem', 'inner_state', '1', '0', 'mu', 'PaliGemma', 'llm', 'layers_seg6', 'pre_ffw_norm_1', 'Dense_0', 'kernel', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "mem", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "mu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg6", "key_type": 2}, {"key": "pre_ffw_norm_1", "key_type": 2}, {"key": "Dense_0", "key_type": 2}, {"key": "kernel", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "None", "skip_deserialize": true}}, "('opt_state', 'action', 'inner_states', 'mem', 'inner_state', '1', '0', 'mu', 'action_in_proj', 'bias', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "mem", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "mu", "key_type": 2}, {"key": "action_in_proj", "key_type": 2}, {"key": "bias", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "None", "skip_deserialize": true}}, "('opt_state', 'action', 'inner_states', 'mem', 'inner_state', '1', '0', 'mu', 'action_in_proj', 'kernel', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "mem", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "mu", "key_type": 2}, {"key": "action_in_proj", "key_type": 2}, {"key": "kernel", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "None", "skip_deserialize": true}}, "('opt_state', 'action', 'inner_states', 'mem', 'inner_state', '1', '0', 'mu', 'action_out_proj', 'bias', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "mem", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "mu", "key_type": 2}, {"key": "action_out_proj", "key_type": 2}, {"key": "bias", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "None", "skip_deserialize": true}}, "('opt_state', 'action', 'inner_states', 'mem', 'inner_state', '1', '0', 'mu', 'action_out_proj', 'kernel', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "mem", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "mu", "key_type": 2}, {"key": "action_out_proj", "key_type": 2}, {"key": "kernel", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "None", "skip_deserialize": true}}, "('opt_state', 'action', 'inner_states', 'mem', 'inner_state', '1', '0', 'mu', 'time_mlp_in', 'bias', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "mem", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "mu", "key_type": 2}, {"key": "time_mlp_in", "key_type": 2}, {"key": "bias", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "None", "skip_deserialize": true}}, "('opt_state', 'action', 'inner_states', 'mem', 'inner_state', '1', '0', 'mu', 'time_mlp_in', 'kernel', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "mem", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "mu", "key_type": 2}, {"key": "time_mlp_in", "key_type": 2}, {"key": "kernel", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "None", "skip_deserialize": true}}, "('opt_state', 'action', 'inner_states', 'mem', 'inner_state', '1', '0', 'mu', 'time_mlp_out', 'bias', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "mem", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "mu", "key_type": 2}, {"key": "time_mlp_out", "key_type": 2}, {"key": "bias", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "None", "skip_deserialize": true}}, "('opt_state', 'action', 'inner_states', 'mem', 'inner_state', '1', '0', 'mu', 'time_mlp_out', 'kernel', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "mem", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "mu", "key_type": 2}, {"key": "time_mlp_out", "key_type": 2}, {"key": "kernel", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "None", "skip_deserialize": true}}, "('opt_state', 'action', 'inner_states', 'mem', 'inner_state', '1', '0', 'nu', 'PaliGemma', 'llm', 'final_norm_1', 'Dense_0', 'bias', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "mem", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "nu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "final_norm_1", "key_type": 2}, {"key": "Dense_0", "key_type": 2}, {"key": "bias", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "None", "skip_deserialize": true}}, "('opt_state', 'action', 'inner_states', 'mem', 'inner_state', '1', '0', 'nu', 'PaliGemma', 'llm', 'final_norm_1', 'Dense_0', 'kernel', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "mem", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "nu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "final_norm_1", "key_type": 2}, {"key": "Dense_0", "key_type": 2}, {"key": "kernel", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "None", "skip_deserialize": true}}, "('opt_state', 'action', 'inner_states', 'mem', 'inner_state', '1', '0', 'nu', 'PaliGemma', 'llm', 'layers_seg0', 'attn', 'attn_vec_einsum_1', 'w', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "mem", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "nu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg0", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "attn_vec_einsum_1", "key_type": 2}, {"key": "w", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "None", "skip_deserialize": true}}, "('opt_state', 'action', 'inner_states', 'mem', 'inner_state', '1', '0', 'nu', 'PaliGemma', 'llm', 'layers_seg0', 'attn', 'kv_einsum_1', 'w', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "mem", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "nu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg0", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "kv_einsum_1", "key_type": 2}, {"key": "w", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "None", "skip_deserialize": true}}, "('opt_state', 'action', 'inner_states', 'mem', 'inner_state', '1', '0', 'nu', 'PaliGemma', 'llm', 'layers_seg0', 'attn', 'q_einsum_1', 'w', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "mem", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "nu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg0", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "q_einsum_1", "key_type": 2}, {"key": "w", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "None", "skip_deserialize": true}}, "('opt_state', 'action', 'inner_states', 'mem', 'inner_state', '1', '0', 'nu', 'PaliGemma', 'llm', 'layers_seg0', 'mlp_1', 'gating_einsum', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "mem", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "nu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg0", "key_type": 2}, {"key": "mlp_1", "key_type": 2}, {"key": "gating_einsum", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "None", "skip_deserialize": true}}, "('opt_state', 'action', 'inner_states', 'mem', 'inner_state', '1', '0', 'nu', 'PaliGemma', 'llm', 'layers_seg0', 'mlp_1', 'linear', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "mem", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "nu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg0", "key_type": 2}, {"key": "mlp_1", "key_type": 2}, {"key": "linear", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "None", "skip_deserialize": true}}, "('opt_state', 'action', 'inner_states', 'mem', 'inner_state', '1', '0', 'nu', 'PaliGemma', 'llm', 'layers_seg0', 'pre_attention_norm_1', 'Dense_0', 'bias', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "mem", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "nu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg0", "key_type": 2}, {"key": "pre_attention_norm_1", "key_type": 2}, {"key": "Dense_0", "key_type": 2}, {"key": "bias", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "None", "skip_deserialize": true}}, "('opt_state', 'action', 'inner_states', 'mem', 'inner_state', '1', '0', 'nu', 'PaliGemma', 'llm', 'layers_seg0', 'pre_attention_norm_1', 'Dense_0', 'kernel', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "mem", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "nu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg0", "key_type": 2}, {"key": "pre_attention_norm_1", "key_type": 2}, {"key": "Dense_0", "key_type": 2}, {"key": "kernel", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "None", "skip_deserialize": true}}, "('opt_state', 'action', 'inner_states', 'mem', 'inner_state', '1', '0', 'nu', 'PaliGemma', 'llm', 'layers_seg0', 'pre_ffw_norm_1', 'Dense_0', 'bias', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "mem", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "nu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg0", "key_type": 2}, {"key": "pre_ffw_norm_1", "key_type": 2}, {"key": "Dense_0", "key_type": 2}, {"key": "bias", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "None", "skip_deserialize": true}}, "('opt_state', 'action', 'inner_states', 'mem', 'inner_state', '1', '0', 'nu', 'PaliGemma', 'llm', 'layers_seg0', 'pre_ffw_norm_1', 'Dense_0', 'kernel', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "mem", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "nu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg0", "key_type": 2}, {"key": "pre_ffw_norm_1", "key_type": 2}, {"key": "Dense_0", "key_type": 2}, {"key": "kernel", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "None", "skip_deserialize": true}}, "('opt_state', 'action', 'inner_states', 'mem', 'inner_state', '1', '0', 'nu', 'PaliGemma', 'llm', 'layers_seg1', 'attn', 'attn_vec_einsum_1', 'w', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "mem", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "nu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg1", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "attn_vec_einsum_1", "key_type": 2}, {"key": "w", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "None", "skip_deserialize": true}}, "('opt_state', 'action', 'inner_states', 'mem', 'inner_state', '1', '0', 'nu', 'PaliGemma', 'llm', 'layers_seg1', 'attn', 'kv_einsum_1', 'w', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "mem", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "nu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg1", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "kv_einsum_1", "key_type": 2}, {"key": "w", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "None", "skip_deserialize": true}}, "('opt_state', 'action', 'inner_states', 'mem', 'inner_state', '1', '0', 'nu', 'PaliGemma', 'llm', 'layers_seg1', 'attn', 'q_einsum_1', 'w', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "mem", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "nu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg1", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "q_einsum_1", "key_type": 2}, {"key": "w", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "None", "skip_deserialize": true}}, "('opt_state', 'action', 'inner_states', 'mem', 'inner_state', '1', '0', 'nu', 'PaliGemma', 'llm', 'layers_seg1', 'mlp_1', 'gating_einsum', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "mem", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "nu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg1", "key_type": 2}, {"key": "mlp_1", "key_type": 2}, {"key": "gating_einsum", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "None", "skip_deserialize": true}}, "('opt_state', 'action', 'inner_states', 'mem', 'inner_state', '1', '0', 'nu', 'PaliGemma', 'llm', 'layers_seg1', 'mlp_1', 'linear', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "mem", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "nu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg1", "key_type": 2}, {"key": "mlp_1", "key_type": 2}, {"key": "linear", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "None", "skip_deserialize": true}}, "('opt_state', 'action', 'inner_states', 'mem', 'inner_state', '1', '0', 'nu', 'PaliGemma', 'llm', 'layers_seg1', 'pre_attention_norm_1', 'Dense_0', 'bias', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "mem", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "nu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg1", "key_type": 2}, {"key": "pre_attention_norm_1", "key_type": 2}, {"key": "Dense_0", "key_type": 2}, {"key": "bias", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "None", "skip_deserialize": true}}, "('opt_state', 'action', 'inner_states', 'mem', 'inner_state', '1', '0', 'nu', 'PaliGemma', 'llm', 'layers_seg1', 'pre_attention_norm_1', 'Dense_0', 'kernel', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "mem", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "nu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg1", "key_type": 2}, {"key": "pre_attention_norm_1", "key_type": 2}, {"key": "Dense_0", "key_type": 2}, {"key": "kernel", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "None", "skip_deserialize": true}}, "('opt_state', 'action', 'inner_states', 'mem', 'inner_state', '1', '0', 'nu', 'PaliGemma', 'llm', 'layers_seg1', 'pre_ffw_norm_1', 'Dense_0', 'bias', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "mem", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "nu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg1", "key_type": 2}, {"key": "pre_ffw_norm_1", "key_type": 2}, {"key": "Dense_0", "key_type": 2}, {"key": "bias", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "None", "skip_deserialize": true}}, "('opt_state', 'action', 'inner_states', 'mem', 'inner_state', '1', '0', 'nu', 'PaliGemma', 'llm', 'layers_seg1', 'pre_ffw_norm_1', 'Dense_0', 'kernel', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "mem", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "nu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg1", "key_type": 2}, {"key": "pre_ffw_norm_1", "key_type": 2}, {"key": "Dense_0", "key_type": 2}, {"key": "kernel", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "None", "skip_deserialize": true}}, "('opt_state', 'action', 'inner_states', 'mem', 'inner_state', '1', '0', 'nu', 'PaliGemma', 'llm', 'layers_seg2', 'attn', 'attn_vec_einsum_1', 'w', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "mem", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "nu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg2", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "attn_vec_einsum_1", "key_type": 2}, {"key": "w", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "None", "skip_deserialize": true}}, "('opt_state', 'action', 'inner_states', 'mem', 'inner_state', '1', '0', 'nu', 'PaliGemma', 'llm', 'layers_seg2', 'attn', 'kv_einsum_1', 'w', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "mem", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "nu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg2", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "kv_einsum_1", "key_type": 2}, {"key": "w", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "None", "skip_deserialize": true}}, "('opt_state', 'action', 'inner_states', 'mem', 'inner_state', '1', '0', 'nu', 'PaliGemma', 'llm', 'layers_seg2', 'attn', 'q_einsum_1', 'w', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "mem", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "nu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg2", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "q_einsum_1", "key_type": 2}, {"key": "w", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "None", "skip_deserialize": true}}, "('opt_state', 'action', 'inner_states', 'mem', 'inner_state', '1', '0', 'nu', 'PaliGemma', 'llm', 'layers_seg2', 'mlp_1', 'gating_einsum', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "mem", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "nu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg2", "key_type": 2}, {"key": "mlp_1", "key_type": 2}, {"key": "gating_einsum", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "None", "skip_deserialize": true}}, "('opt_state', 'action', 'inner_states', 'mem', 'inner_state', '1', '0', 'nu', 'PaliGemma', 'llm', 'layers_seg2', 'mlp_1', 'linear', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "mem", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "nu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg2", "key_type": 2}, {"key": "mlp_1", "key_type": 2}, {"key": "linear", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "None", "skip_deserialize": true}}, "('opt_state', 'action', 'inner_states', 'mem', 'inner_state', '1', '0', 'nu', 'PaliGemma', 'llm', 'layers_seg2', 'pre_attention_norm_1', 'Dense_0', 'bias', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "mem", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "nu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg2", "key_type": 2}, {"key": "pre_attention_norm_1", "key_type": 2}, {"key": "Dense_0", "key_type": 2}, {"key": "bias", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "None", "skip_deserialize": true}}, "('opt_state', 'action', 'inner_states', 'mem', 'inner_state', '1', '0', 'nu', 'PaliGemma', 'llm', 'layers_seg2', 'pre_attention_norm_1', 'Dense_0', 'kernel', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "mem", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "nu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg2", "key_type": 2}, {"key": "pre_attention_norm_1", "key_type": 2}, {"key": "Dense_0", "key_type": 2}, {"key": "kernel", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "None", "skip_deserialize": true}}, "('opt_state', 'action', 'inner_states', 'mem', 'inner_state', '1', '0', 'nu', 'PaliGemma', 'llm', 'layers_seg2', 'pre_ffw_norm_1', 'Dense_0', 'bias', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "mem", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "nu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg2", "key_type": 2}, {"key": "pre_ffw_norm_1", "key_type": 2}, {"key": "Dense_0", "key_type": 2}, {"key": "bias", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "None", "skip_deserialize": true}}, "('opt_state', 'action', 'inner_states', 'mem', 'inner_state', '1', '0', 'nu', 'PaliGemma', 'llm', 'layers_seg2', 'pre_ffw_norm_1', 'Dense_0', 'kernel', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "mem", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "nu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg2", "key_type": 2}, {"key": "pre_ffw_norm_1", "key_type": 2}, {"key": "Dense_0", "key_type": 2}, {"key": "kernel", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "None", "skip_deserialize": true}}, "('opt_state', 'action', 'inner_states', 'mem', 'inner_state', '1', '0', 'nu', 'PaliGemma', 'llm', 'layers_seg3', 'attn', 'attn_vec_einsum_1', 'w', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "mem", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "nu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg3", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "attn_vec_einsum_1", "key_type": 2}, {"key": "w", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "None", "skip_deserialize": true}}, "('opt_state', 'action', 'inner_states', 'mem', 'inner_state', '1', '0', 'nu', 'PaliGemma', 'llm', 'layers_seg3', 'attn', 'kv_einsum_1', 'w', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "mem", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "nu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg3", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "kv_einsum_1", "key_type": 2}, {"key": "w", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "None", "skip_deserialize": true}}, "('opt_state', 'action', 'inner_states', 'mem', 'inner_state', '1', '0', 'nu', 'PaliGemma', 'llm', 'layers_seg3', 'attn', 'q_einsum_1', 'w', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "mem", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "nu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg3", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "q_einsum_1", "key_type": 2}, {"key": "w", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "None", "skip_deserialize": true}}, "('opt_state', 'action', 'inner_states', 'mem', 'inner_state', '1', '0', 'nu', 'PaliGemma', 'llm', 'layers_seg3', 'mlp_1', 'gating_einsum', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "mem", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "nu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg3", "key_type": 2}, {"key": "mlp_1", "key_type": 2}, {"key": "gating_einsum", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "None", "skip_deserialize": true}}, "('opt_state', 'action', 'inner_states', 'mem', 'inner_state', '1', '0', 'nu', 'PaliGemma', 'llm', 'layers_seg3', 'mlp_1', 'linear', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "mem", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "nu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg3", "key_type": 2}, {"key": "mlp_1", "key_type": 2}, {"key": "linear", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "None", "skip_deserialize": true}}, "('opt_state', 'action', 'inner_states', 'mem', 'inner_state', '1', '0', 'nu', 'PaliGemma', 'llm', 'layers_seg3', 'pre_attention_norm_1', 'Dense_0', 'bias', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "mem", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "nu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg3", "key_type": 2}, {"key": "pre_attention_norm_1", "key_type": 2}, {"key": "Dense_0", "key_type": 2}, {"key": "bias", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "None", "skip_deserialize": true}}, "('opt_state', 'action', 'inner_states', 'mem', 'inner_state', '1', '0', 'nu', 'PaliGemma', 'llm', 'layers_seg3', 'pre_attention_norm_1', 'Dense_0', 'kernel', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "mem", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "nu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg3", "key_type": 2}, {"key": "pre_attention_norm_1", "key_type": 2}, {"key": "Dense_0", "key_type": 2}, {"key": "kernel", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "None", "skip_deserialize": true}}, "('opt_state', 'action', 'inner_states', 'mem', 'inner_state', '1', '0', 'nu', 'PaliGemma', 'llm', 'layers_seg3', 'pre_ffw_norm_1', 'Dense_0', 'bias', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "mem", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "nu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg3", "key_type": 2}, {"key": "pre_ffw_norm_1", "key_type": 2}, {"key": "Dense_0", "key_type": 2}, {"key": "bias", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "None", "skip_deserialize": true}}, "('opt_state', 'action', 'inner_states', 'mem', 'inner_state', '1', '0', 'nu', 'PaliGemma', 'llm', 'layers_seg3', 'pre_ffw_norm_1', 'Dense_0', 'kernel', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "mem", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "nu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg3", "key_type": 2}, {"key": "pre_ffw_norm_1", "key_type": 2}, {"key": "Dense_0", "key_type": 2}, {"key": "kernel", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "None", "skip_deserialize": true}}, "('opt_state', 'action', 'inner_states', 'mem', 'inner_state', '1', '0', 'nu', 'PaliGemma', 'llm', 'layers_seg4', 'attn', 'attn_vec_einsum_1', 'w', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "mem", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "nu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg4", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "attn_vec_einsum_1", "key_type": 2}, {"key": "w", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "None", "skip_deserialize": true}}, "('opt_state', 'action', 'inner_states', 'mem', 'inner_state', '1', '0', 'nu', 'PaliGemma', 'llm', 'layers_seg4', 'attn', 'kv_einsum_1', 'w', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "mem", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "nu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg4", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "kv_einsum_1", "key_type": 2}, {"key": "w", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "None", "skip_deserialize": true}}, "('opt_state', 'action', 'inner_states', 'mem', 'inner_state', '1', '0', 'nu', 'PaliGemma', 'llm', 'layers_seg4', 'attn', 'q_einsum_1', 'w', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "mem", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "nu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg4", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "q_einsum_1", "key_type": 2}, {"key": "w", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "None", "skip_deserialize": true}}, "('opt_state', 'action', 'inner_states', 'mem', 'inner_state', '1', '0', 'nu', 'PaliGemma', 'llm', 'layers_seg4', 'mlp_1', 'gating_einsum', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "mem", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "nu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg4", "key_type": 2}, {"key": "mlp_1", "key_type": 2}, {"key": "gating_einsum", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "None", "skip_deserialize": true}}, "('opt_state', 'action', 'inner_states', 'mem', 'inner_state', '1', '0', 'nu', 'PaliGemma', 'llm', 'layers_seg4', 'mlp_1', 'linear', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "mem", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "nu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg4", "key_type": 2}, {"key": "mlp_1", "key_type": 2}, {"key": "linear", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "None", "skip_deserialize": true}}, "('opt_state', 'action', 'inner_states', 'mem', 'inner_state', '1', '0', 'nu', 'PaliGemma', 'llm', 'layers_seg4', 'pre_attention_norm_1', 'Dense_0', 'bias', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "mem", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "nu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg4", "key_type": 2}, {"key": "pre_attention_norm_1", "key_type": 2}, {"key": "Dense_0", "key_type": 2}, {"key": "bias", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "None", "skip_deserialize": true}}, "('opt_state', 'action', 'inner_states', 'mem', 'inner_state', '1', '0', 'nu', 'PaliGemma', 'llm', 'layers_seg4', 'pre_attention_norm_1', 'Dense_0', 'kernel', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "mem", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "nu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg4", "key_type": 2}, {"key": "pre_attention_norm_1", "key_type": 2}, {"key": "Dense_0", "key_type": 2}, {"key": "kernel", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "None", "skip_deserialize": true}}, "('opt_state', 'action', 'inner_states', 'mem', 'inner_state', '1', '0', 'nu', 'PaliGemma', 'llm', 'layers_seg4', 'pre_ffw_norm_1', 'Dense_0', 'bias', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "mem", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "nu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg4", "key_type": 2}, {"key": "pre_ffw_norm_1", "key_type": 2}, {"key": "Dense_0", "key_type": 2}, {"key": "bias", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "None", "skip_deserialize": true}}, "('opt_state', 'action', 'inner_states', 'mem', 'inner_state', '1', '0', 'nu', 'PaliGemma', 'llm', 'layers_seg4', 'pre_ffw_norm_1', 'Dense_0', 'kernel', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "mem", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "nu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg4", "key_type": 2}, {"key": "pre_ffw_norm_1", "key_type": 2}, {"key": "Dense_0", "key_type": 2}, {"key": "kernel", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "None", "skip_deserialize": true}}, "('opt_state', 'action', 'inner_states', 'mem', 'inner_state', '1', '0', 'nu', 'PaliGemma', 'llm', 'layers_seg5', 'attn', 'attn_vec_einsum_1', 'w', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "mem", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "nu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg5", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "attn_vec_einsum_1", "key_type": 2}, {"key": "w", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "None", "skip_deserialize": true}}, "('opt_state', 'action', 'inner_states', 'mem', 'inner_state', '1', '0', 'nu', 'PaliGemma', 'llm', 'layers_seg5', 'attn', 'kv_einsum_1', 'w', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "mem", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "nu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg5", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "kv_einsum_1", "key_type": 2}, {"key": "w", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "None", "skip_deserialize": true}}, "('opt_state', 'action', 'inner_states', 'mem', 'inner_state', '1', '0', 'nu', 'PaliGemma', 'llm', 'layers_seg5', 'attn', 'q_einsum_1', 'w', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "mem", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "nu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg5", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "q_einsum_1", "key_type": 2}, {"key": "w", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "None", "skip_deserialize": true}}, "('opt_state', 'action', 'inner_states', 'mem', 'inner_state', '1', '0', 'nu', 'PaliGemma', 'llm', 'layers_seg5', 'mlp_1', 'gating_einsum', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "mem", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "nu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg5", "key_type": 2}, {"key": "mlp_1", "key_type": 2}, {"key": "gating_einsum", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "None", "skip_deserialize": true}}, "('opt_state', 'action', 'inner_states', 'mem', 'inner_state', '1', '0', 'nu', 'PaliGemma', 'llm', 'layers_seg5', 'mlp_1', 'linear', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "mem", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "nu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg5", "key_type": 2}, {"key": "mlp_1", "key_type": 2}, {"key": "linear", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "None", "skip_deserialize": true}}, "('opt_state', 'action', 'inner_states', 'mem', 'inner_state', '1', '0', 'nu', 'PaliGemma', 'llm', 'layers_seg5', 'pre_attention_norm_1', 'Dense_0', 'bias', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "mem", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "nu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg5", "key_type": 2}, {"key": "pre_attention_norm_1", "key_type": 2}, {"key": "Dense_0", "key_type": 2}, {"key": "bias", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "None", "skip_deserialize": true}}, "('opt_state', 'action', 'inner_states', 'mem', 'inner_state', '1', '0', 'nu', 'PaliGemma', 'llm', 'layers_seg5', 'pre_attention_norm_1', 'Dense_0', 'kernel', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "mem", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "nu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg5", "key_type": 2}, {"key": "pre_attention_norm_1", "key_type": 2}, {"key": "Dense_0", "key_type": 2}, {"key": "kernel", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "None", "skip_deserialize": true}}, "('opt_state', 'action', 'inner_states', 'mem', 'inner_state', '1', '0', 'nu', 'PaliGemma', 'llm', 'layers_seg5', 'pre_ffw_norm_1', 'Dense_0', 'bias', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "mem", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "nu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg5", "key_type": 2}, {"key": "pre_ffw_norm_1", "key_type": 2}, {"key": "Dense_0", "key_type": 2}, {"key": "bias", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "None", "skip_deserialize": true}}, "('opt_state', 'action', 'inner_states', 'mem', 'inner_state', '1', '0', 'nu', 'PaliGemma', 'llm', 'layers_seg5', 'pre_ffw_norm_1', 'Dense_0', 'kernel', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "mem", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "nu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg5", "key_type": 2}, {"key": "pre_ffw_norm_1", "key_type": 2}, {"key": "Dense_0", "key_type": 2}, {"key": "kernel", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "None", "skip_deserialize": true}}, "('opt_state', 'action', 'inner_states', 'mem', 'inner_state', '1', '0', 'nu', 'PaliGemma', 'llm', 'layers_seg6', 'attn', 'attn_vec_einsum_1', 'w', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "mem", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "nu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg6", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "attn_vec_einsum_1", "key_type": 2}, {"key": "w", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "None", "skip_deserialize": true}}, "('opt_state', 'action', 'inner_states', 'mem', 'inner_state', '1', '0', 'nu', 'PaliGemma', 'llm', 'layers_seg6', 'attn', 'kv_einsum_1', 'w', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "mem", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "nu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg6", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "kv_einsum_1", "key_type": 2}, {"key": "w", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "None", "skip_deserialize": true}}, "('opt_state', 'action', 'inner_states', 'mem', 'inner_state', '1', '0', 'nu', 'PaliGemma', 'llm', 'layers_seg6', 'attn', 'q_einsum_1', 'w', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "mem", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "nu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg6", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "q_einsum_1", "key_type": 2}, {"key": "w", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "None", "skip_deserialize": true}}, "('opt_state', 'action', 'inner_states', 'mem', 'inner_state', '1', '0', 'nu', 'PaliGemma', 'llm', 'layers_seg6', 'mlp_1', 'gating_einsum', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "mem", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "nu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg6", "key_type": 2}, {"key": "mlp_1", "key_type": 2}, {"key": "gating_einsum", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "None", "skip_deserialize": true}}, "('opt_state', 'action', 'inner_states', 'mem', 'inner_state', '1', '0', 'nu', 'PaliGemma', 'llm', 'layers_seg6', 'mlp_1', 'linear', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "mem", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "nu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg6", "key_type": 2}, {"key": "mlp_1", "key_type": 2}, {"key": "linear", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "None", "skip_deserialize": true}}, "('opt_state', 'action', 'inner_states', 'mem', 'inner_state', '1', '0', 'nu', 'PaliGemma', 'llm', 'layers_seg6', 'pre_attention_norm_1', 'Dense_0', 'bias', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "mem", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "nu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg6", "key_type": 2}, {"key": "pre_attention_norm_1", "key_type": 2}, {"key": "Dense_0", "key_type": 2}, {"key": "bias", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "None", "skip_deserialize": true}}, "('opt_state', 'action', 'inner_states', 'mem', 'inner_state', '1', '0', 'nu', 'PaliGemma', 'llm', 'layers_seg6', 'pre_attention_norm_1', 'Dense_0', 'kernel', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "mem", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "nu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg6", "key_type": 2}, {"key": "pre_attention_norm_1", "key_type": 2}, {"key": "Dense_0", "key_type": 2}, {"key": "kernel", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "None", "skip_deserialize": true}}, "('opt_state', 'action', 'inner_states', 'mem', 'inner_state', '1', '0', 'nu', 'PaliGemma', 'llm', 'layers_seg6', 'pre_ffw_norm_1', 'Dense_0', 'bias', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "mem", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "nu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg6", "key_type": 2}, {"key": "pre_ffw_norm_1", "key_type": 2}, {"key": "Dense_0", "key_type": 2}, {"key": "bias", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "None", "skip_deserialize": true}}, "('opt_state', 'action', 'inner_states', 'mem', 'inner_state', '1', '0', 'nu', 'PaliGemma', 'llm', 'layers_seg6', 'pre_ffw_norm_1', 'Dense_0', 'kernel', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "mem", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "nu", "key_type": 2}, {"key": "PaliGemma", "key_type": 2}, {"key": "llm", "key_type": 2}, {"key": "layers_seg6", "key_type": 2}, {"key": "pre_ffw_norm_1", "key_type": 2}, {"key": "Dense_0", "key_type": 2}, {"key": "kernel", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "None", "skip_deserialize": true}}, "('opt_state', 'action', 'inner_states', 'mem', 'inner_state', '1', '0', 'nu', 'action_in_proj', 'bias', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "mem", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "nu", "key_type": 2}, {"key": "action_in_proj", "key_type": 2}, {"key": "bias", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "None", "skip_deserialize": true}}, "('opt_state', 'action', 'inner_states', 'mem', 'inner_state', '1', '0', 'nu', 'action_in_proj', 'kernel', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "mem", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "nu", "key_type": 2}, {"key": "action_in_proj", "key_type": 2}, {"key": "kernel", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "None", "skip_deserialize": true}}, "('opt_state', 'action', 'inner_states', 'mem', 'inner_state', '1', '0', 'nu', 'action_out_proj', 'bias', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "mem", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "nu", "key_type": 2}, {"key": "action_out_proj", "key_type": 2}, {"key": "bias", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "None", "skip_deserialize": true}}, "('opt_state', 'action', 'inner_states', 'mem', 'inner_state', '1', '0', 'nu', 'action_out_proj', 'kernel', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "mem", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "nu", "key_type": 2}, {"key": "action_out_proj", "key_type": 2}, {"key": "kernel", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "None", "skip_deserialize": true}}, "('opt_state', 'action', 'inner_states', 'mem', 'inner_state', '1', '0', 'nu', 'time_mlp_in', 'bias', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "mem", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "nu", "key_type": 2}, {"key": "time_mlp_in", "key_type": 2}, {"key": "bias", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "None", "skip_deserialize": true}}, "('opt_state', 'action', 'inner_states', 'mem', 'inner_state', '1', '0', 'nu', 'time_mlp_in', 'kernel', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "mem", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "nu", "key_type": 2}, {"key": "time_mlp_in", "key_type": 2}, {"key": "kernel", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "None", "skip_deserialize": true}}, "('opt_state', 'action', 'inner_states', 'mem', 'inner_state', '1', '0', 'nu', 'time_mlp_out', 'bias', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "mem", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "nu", "key_type": 2}, {"key": "time_mlp_out", "key_type": 2}, {"key": "bias", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "None", "skip_deserialize": true}}, "('opt_state', 'action', 'inner_states', 'mem', 'inner_state', '1', '0', 'nu', 'time_mlp_out', 'kernel', 'value')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "mem", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "nu", "key_type": 2}, {"key": "time_mlp_out", "key_type": 2}, {"key": "kernel", "key_type": 2}, {"key": "value", "key_type": 2}], "value_metadata": {"value_type": "None", "skip_deserialize": true}}, "('opt_state', 'action', 'inner_states', 'mem', 'inner_state', '1', '1')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "mem", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "1", "key_type": 1}], "value_metadata": {"value_type": "None", "skip_deserialize": true}}, "('opt_state', 'action', 'inner_states', 'mem', 'inner_state', '1', '2', 'count')": {"key_metadata": [{"key": "opt_state", "key_type": 2}, {"key": "action", "key_type": 2}, {"key": "inner_states", "key_type": 2}, {"key": "mem", "key_type": 2}, {"key": "inner_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "2", "key_type": 1}, {"key": "count", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false, "write_shape": []}}, "('rng',)": {"key_metadata": [{"key": "rng", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false, "write_shape": [2]}}}, "use_zarr3": false, "store_array_data_equal_to_fill_value": true, "custom_metadata": null}