File size: 62,513 Bytes
556d251 | 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144 145 146 147 148 149 150 151 152 153 154 155 156 157 158 159 160 161 162 163 164 165 166 167 168 169 170 171 172 173 174 175 176 177 178 179 180 181 182 183 184 185 186 187 188 189 190 191 192 193 194 195 196 197 198 199 200 201 202 203 204 205 206 207 208 209 210 211 212 213 214 215 216 217 218 219 220 221 222 223 224 225 226 227 228 229 230 231 232 233 234 235 236 237 238 239 240 241 242 243 244 245 246 247 248 249 250 251 252 253 254 255 256 257 258 259 260 261 262 263 264 265 266 267 268 269 270 271 272 273 274 275 276 | [2026-05-26 03:29:46,410] [DEBUG] [axolotl.utils.config.resolve_dtype:74] [PID:26934] bf16 support detected, enabling for this configuration.
[2026-05-26 03:29:46,416] [DEBUG] [axolotl.utils.config.log_gpu_memory_usage:127] [PID:26934] baseline 0.000GB ()
[2026-05-26 03:29:46,417] [INFO] [axolotl.cli.config.load_cfg:333] [PID:26934] config:
{
"activation_offloading": true,
"attn_implementation": "flash_attention_2",
"attn_needs_dtype_cast": true,
"attn_supports_packing": true,
"attn_uses_flash_lib": true,
"axolotl_config_path": "train.yml",
"base_model": "last_model",
"base_model_config": "last_model",
"batch_size": 16,
"bf16": true,
"capabilities": {
"bf16": true,
"compute_capability": "sm_80",
"fp8": false,
"n_gpu": 1,
"n_node": 1,
"tf32": true
},
"chat_template": "tokenizer_default",
"context_parallel_size": 1,
"cut_cross_entropy": true,
"dataloader_num_workers": 1,
"dataloader_pin_memory": true,
"dataloader_prefetch_factor": 256,
"dataset_num_proc": 16,
"dataset_prepared_path": "last_run_prepared",
"datasets": [
{
"ds_type": "parquet",
"message_property_mappings": {
"content": "content",
"role": "role"
},
"path": "tankieV2-llama3.3.parquet",
"trust_remote_code": false
}
],
"ddp": false,
"device": "cuda:0",
"dion_rank_fraction": 1.0,
"dion_rank_multiple_of": 1,
"eaft_alpha": 1.0,
"eaft_k": 20,
"env_capabilities": {
"torch_version": "2.8.0"
},
"eval_batch_size": 4,
"eval_causal_lm_metrics": [
"sacrebleu",
"comet",
"ter",
"chrf"
],
"eval_max_new_tokens": 128,
"eval_sample_packing": true,
"eval_table_size": 0,
"experimental_skip_move_to_device": true,
"fp16": false,
"generate_samples": false,
"generation_do_sample": true,
"generation_max_new_tokens": 50,
"generation_prompt_ratio": 0.5,
"generation_temperature": 0.7,
"gradient_accumulation_steps": 4,
"gradient_checkpointing": true,
"gradient_checkpointing_kwargs": {
"use_reentrant": true
},
"group_by_length": false,
"include_tkps": true,
"is_llama_derived_model": true,
"layer_offloading": false,
"learning_rate": 1e-06,
"lisa_layers_attribute": "model.layers",
"load_best_model_at_end": false,
"load_in_4bit": false,
"load_in_8bit": false,
"local_rank": 0,
"logging_steps": 1,
"lora_dropout": 0.0,
"loraplus_lr_embedding": 1e-06,
"lr_scheduler": "cosine",
"max_grad_norm": 0.1,
"mean_resizing_embeddings": false,
"merge_method": "memory_efficient",
"micro_batch_size": 4,
"model_config_type": "llama",
"num_epochs": 4.0,
"num_generation_samples": 3,
"optimizer": "adamw_torch_8bit",
"otel_metrics_host": "localhost",
"otel_metrics_port": 8000,
"output_dir": "./model-output",
"pad_to_sequence_len": true,
"plugins": [
"axolotl.integrations.liger.LigerPlugin",
"axolotl.integrations.cut_cross_entropy.CutCrossEntropyPlugin"
],
"pretrain_multipack_attn": true,
"profiler_steps_start": 0,
"qgalore_cos_threshold": 0.4,
"qgalore_gamma_proj": 2,
"qgalore_proj_bits": 4,
"qgalore_proj_group_size": 256,
"qgalore_proj_quant": true,
"qgalore_proj_type": "std",
"qgalore_queue_size": 5,
"qgalore_rank": 256,
"qgalore_scale": 0.25,
"qgalore_update_proj_gap": 200,
"qlora_sharded_model_loading": false,
"quantize_moe_experts": false,
"ray_num_workers": 1,
"relora_prune_method": "magnitude",
"resources_per_worker": {
"GPU": 1
},
"sample_packing": true,
"sample_packing_bin_size": 200,
"sample_packing_group_size": 100000,
"save_only_model": false,
"save_safetensors": true,
"save_steps": 0.25,
"saves_per_epoch": 1,
"sequence_len": 8192,
"shuffle_before_merging_datasets": false,
"shuffle_merged_datasets": true,
"skip_prepare_dataset": false,
"special_tokens": {
"pad_token": "<|reserved_special_token_1|>"
},
"streaming_multipack_buffer_size": 10000,
"strict": false,
"tensor_parallel_size": 1,
"tf32": true,
"tiled_mlp_use_original_mlp": true,
"tokenizer_config": "last_model",
"tokenizer_save_jinja_files": true,
"torch_dtype": "torch.bfloat16",
"train_on_inputs": false,
"trl": {
"async_prefetch": false,
"log_completions": false,
"mask_truncated_completions": false,
"ref_model_mixup_alpha": 0.9,
"ref_model_sync_steps": 64,
"replay_buffer_size": 0,
"replay_recompute_logps": true,
"reroll_max_groups": 1,
"reroll_start_fraction": 1.0,
"reward_num_workers": 1,
"scale_rewards": true,
"skip_zero_advantage_batches": true,
"sync_ref_model": false,
"use_data_producer": false,
"use_vllm": false,
"vllm_lora_sync": false,
"vllm_server_host": "0.0.0.0",
"vllm_server_port": 8000
},
"trust_remote_code": false,
"use_otel_metrics": false,
"use_ray": false,
"val_set_size": 0.0,
"vllm": {
"device": "auto",
"dtype": "auto",
"gpu_memory_utilization": 0.9,
"host": "0.0.0.0",
"port": 8000
},
"warmup_ratio": 1e-07,
"weight_decay": 0.001,
"world_size": 1
}
[2026-05-26 03:29:46,712] [WARNING] [axolotl.cli.checks.check_user_token:48] [PID:26934] Error verifying HuggingFace token. Remember to log in using `hf auth login` and get your access token from https://huggingface.co/settings/tokens if you want to use gated models or datasets.
[2026-05-26 03:29:48,029] [DEBUG] [axolotl.loaders.tokenizer.load_tokenizer:311] [PID:26934] EOS: 128009 / <|eot_id|>
[2026-05-26 03:29:48,029] [DEBUG] [axolotl.loaders.tokenizer.load_tokenizer:312] [PID:26934] BOS: 128000 / <|begin_of_text|>
[2026-05-26 03:29:48,029] [DEBUG] [axolotl.loaders.tokenizer.load_tokenizer:313] [PID:26934] PAD: 128003 / <|reserved_special_token_1|>
[2026-05-26 03:29:48,029] [DEBUG] [axolotl.loaders.tokenizer.load_tokenizer:314] [PID:26934] UNK: None / None
[2026-05-26 03:29:48,030] [INFO] [axolotl.utils.data.shared.load_preprocessed_dataset:477] [PID:26934] Loading prepared dataset from disk at last_run_prepared/63be80ee885f89c343ea1a7f8a098061...
[2026-05-26 03:29:48,059] [DEBUG] [axolotl.utils.trainer.calculate_total_num_steps:420] [PID:26934] total_num_tokens: 1_080_366
[2026-05-26 03:29:48,079] [DEBUG] [axolotl.utils.trainer.calculate_total_num_steps:438] [PID:26934] `total_supervised_tokens: 897_659`
[2026-05-26 03:29:49,939] [DEBUG] [axolotl.utils.samplers.multipack.__len__:462] [PID:26934] generate_batches time: 0.90700364112854
[2026-05-26 03:29:50,843] [DEBUG] [axolotl.utils.samplers.multipack.__len__:462] [PID:26934] generate_batches time: 0.9035019874572754
[2026-05-26 03:29:51,730] [DEBUG] [axolotl.utils.samplers.multipack.__len__:462] [PID:26934] generate_batches time: 0.8869099617004395
[2026-05-26 03:29:52,666] [DEBUG] [axolotl.utils.samplers.multipack.__len__:462] [PID:26934] generate_batches time: 0.935537576675415
[2026-05-26 03:29:52,719] [INFO] [axolotl.utils.samplers.multipack.calc_min_len:438] [PID:26934] gather_len_batches: [33]
[2026-05-26 03:29:52,719] [DEBUG] [axolotl.utils.trainer.calculate_total_num_steps:495] [PID:26934] data_loader_len: 8
[2026-05-26 03:29:52,719] [INFO] [axolotl.utils.trainer.calc_sample_packing_eff_est:504] [PID:26934] sample_packing_eff_est across ranks: [0.9990955699573864]
[2026-05-26 03:29:52,720] [DEBUG] [axolotl.utils.trainer.calculate_total_num_steps:516] [PID:26934] sample_packing_eff_est: 1.0
[2026-05-26 03:29:52,720] [DEBUG] [axolotl.utils.trainer.calculate_total_num_steps:521] [PID:26934] total_num_steps: 32
[2026-05-26 03:29:52,720] [INFO] [axolotl.utils.data.sft._prepare_standard_dataset:121] [PID:26934] Maximum number of steps set at 32
[2026-05-26 03:29:52,758] [DEBUG] [axolotl.train.setup_model_and_tokenizer:70] [PID:26934] loading tokenizer... last_model
[2026-05-26 03:29:54,069] [DEBUG] [axolotl.loaders.tokenizer.load_tokenizer:311] [PID:26934] EOS: 128009 / <|eot_id|>
[2026-05-26 03:29:54,069] [DEBUG] [axolotl.loaders.tokenizer.load_tokenizer:312] [PID:26934] BOS: 128000 / <|begin_of_text|>
[2026-05-26 03:29:54,069] [DEBUG] [axolotl.loaders.tokenizer.load_tokenizer:313] [PID:26934] PAD: 128003 / <|reserved_special_token_1|>
[2026-05-26 03:29:54,069] [DEBUG] [axolotl.loaders.tokenizer.load_tokenizer:314] [PID:26934] UNK: None / None
[2026-05-26 03:29:54,069] [DEBUG] [axolotl.train.setup_model_and_tokenizer:81] [PID:26934] Loading model
[2026-05-26 03:29:54,073] [DEBUG] [axolotl.monkeypatch.torchao_optim.patch_torchao_optim_state_8bit:75] [PID:26934] Patched OptimState8bit for torch.compile compatibility
[2026-05-26 03:29:54,073] [DEBUG] [axolotl.monkeypatch.torchao_optim.patch_torchao_optim_state_8bit:122] [PID:26934] Patched OptimState4bit for torch.compile compatibility
[2026-05-26 03:29:54,073] [DEBUG] [axolotl.monkeypatch.torchao_optim.patch_torchao_optim_state_8bit:154] [PID:26934] Patched OptimStateFp8 for torch.compile compatibility
[2026-05-26 03:29:54,079] [DEBUG] [axolotl.monkeypatch.transformers.trainer_loss_calc.patch_evaluation_loop:94] [PID:26934] Patched Trainer.evaluation_loop with nanmean loss calculation
[2026-05-26 03:29:54,081] [DEBUG] [axolotl.monkeypatch.transformers.trainer_loss_calc.patch_maybe_log_save_evaluate:148] [PID:26934] Patched Trainer._maybe_log_save_evaluate with nanmean loss calculation
[2026-05-26 03:29:54,081] [INFO] [axolotl.loaders.patch_manager._apply_multipack_patches:615] [PID:26934] Applying multipack dataloader patch for sample packing...
[2026-05-26 03:29:54,306] [INFO] [axolotl.integrations.liger.plugin.pre_model_load:104] [PID:26934] Applying LIGER to llama with kwargs: {'rope': None, 'cross_entropy': None, 'fused_linear_cross_entropy': None, 'rms_norm': None, 'swiglu': None}
[2026-05-26 03:29:54,332] [INFO] [axolotl.integrations.cut_cross_entropy.pre_model_load:94] [PID:26934] Applying Cut Cross Entropy to model type: llama
Loading weights: 0%| | 0/291 [00:00<?, ?it/s]
Loading weights: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 291/291 [00:00<00:00, 8567.25it/s]
[2026-05-26 03:30:42,802] [INFO] [axolotl.loaders.model._configure_embedding_dtypes:356] [PID:26934] Converting modules to torch.bfloat16
[2026-05-26 03:30:44,112] [DEBUG] [axolotl.loaders.model.log_gpu_memory_usage:127] [PID:26934] Memory usage after model load 0.000GB ()
[2026-05-26 03:30:47,582] [INFO] [axolotl.train.save_initial_configs:454] [PID:26934] Pre-saving tokenizer to ./model-output...
[2026-05-26 03:30:47,759] [INFO] [axolotl.train.save_initial_configs:459] [PID:26934] Pre-saving model config to ./model-output...
[2026-05-26 03:30:47,765] [INFO] [axolotl.train.execute_training:226] [PID:26934] Starting trainer...
[2026-05-26 03:30:49,830] [DEBUG] [axolotl.utils.samplers.multipack.__len__:462] [PID:26934] generate_batches time: 0.866642951965332
[2026-05-26 03:30:50,714] [DEBUG] [axolotl.utils.samplers.multipack.__len__:462] [PID:26934] generate_batches time: 0.8837389945983887
[2026-05-26 03:30:51,620] [DEBUG] [axolotl.utils.samplers.multipack.__len__:462] [PID:26934] generate_batches time: 0.9054760932922363
[2026-05-26 03:30:52,509] [DEBUG] [axolotl.utils.samplers.multipack.__len__:462] [PID:26934] generate_batches time: 0.8883805274963379
[2026-05-26 03:30:52,509] [INFO] [axolotl.utils.samplers.multipack.calc_min_len:438] [PID:26934] gather_len_batches: [33]
0%| | 0/32 [00:00<?, ?it/s]
3%|█████▍ | 1/32 [00:44<22:59, 44.51s/it]
{'loss': '1.873', 'grad_norm': '1.953', 'learning_rate': '1e-06', 'ppl': '6.508', 'memory/max_active (GiB)': '45.26', 'memory/max_allocated (GiB)': '45.26', 'memory/device_reserved (GiB)': '46.03', 'tokens/train_per_sec_per_gpu': '569.1', 'tokens/total': 131072, 'tokens/trainable': 106656, 'epoch': '0.1212'}
3%|█████▍ | 1/32 [00:44<22:59, 44.51s/it]
6%|██████████▉ | 2/32 [01:23<20:38, 41.29s/it]
{'loss': '1.996', 'grad_norm': '1.93', 'learning_rate': '9.976e-07', 'ppl': '7.362', 'memory/max_active (GiB)': '56.9', 'memory/max_allocated (GiB)': '56.9', 'memory/device_reserved (GiB)': '58.59', 'tokens/train_per_sec_per_gpu': '711', 'tokens/total': 262144, 'tokens/trainable': 215077, 'epoch': '0.2424'}
6%|██████████▉ | 2/32 [01:23<20:38, 41.29s/it]
9%|████████████████▎ | 3/32 [02:02<19:28, 40.28s/it]
{'loss': '2.003', 'grad_norm': '2', 'learning_rate': '9.904e-07', 'ppl': '7.412', 'memory/max_active (GiB)': '56.9', 'memory/max_allocated (GiB)': '56.9', 'memory/device_reserved (GiB)': '58.59', 'tokens/train_per_sec_per_gpu': '674.9', 'tokens/total': 393216, 'tokens/trainable': 323158, 'epoch': '0.3636'}
9%|████████████████▎ | 3/32 [02:02<19:28, 40.28s/it]
12%|█████████████████████▊ | 4/32 [02:41<18:33, 39.77s/it]
{'loss': '1.974', 'grad_norm': '1.992', 'learning_rate': '9.785e-07', 'ppl': '7.197', 'memory/max_active (GiB)': '56.9', 'memory/max_allocated (GiB)': '56.9', 'memory/device_reserved (GiB)': '58.59', 'tokens/train_per_sec_per_gpu': '668.4', 'tokens/total': 524288, 'tokens/trainable': 432049, 'epoch': '0.4848'}
12%|█████████████████████▊ | 4/32 [02:41<18:33, 39.77s/it]
16%|███████████████████████████▏ | 5/32 [03:22<18:05, 40.22s/it]
{'loss': '1.941', 'grad_norm': '2', 'learning_rate': '9.619e-07', 'ppl': '6.965', 'memory/max_active (GiB)': '56.9', 'memory/max_allocated (GiB)': '56.9', 'memory/device_reserved (GiB)': '58.59', 'tokens/train_per_sec_per_gpu': '674', 'tokens/total': 655360, 'tokens/trainable': 542557, 'epoch': '0.6061'}
16%|███████████████████████████▏ | 5/32 [03:22<18:05, 40.22s/it]
19%|████████████████████████████████▋ | 6/32 [04:01<17:16, 39.86s/it]
{'loss': '1.95', 'grad_norm': '1.938', 'learning_rate': '9.41e-07', 'ppl': '7.029', 'memory/max_active (GiB)': '56.9', 'memory/max_allocated (GiB)': '56.9', 'memory/device_reserved (GiB)': '58.59', 'tokens/train_per_sec_per_gpu': '720.3', 'tokens/total': 786432, 'tokens/trainable': 652883, 'epoch': '0.7273'}
19%|████████████████████████████████▋ | 6/32 [04:01<17:16, 39.86s/it]
22%|██████████████████████████████████████ | 7/32 [04:41<16:31, 39.65s/it]
{'loss': '2.027', 'grad_norm': '2', 'learning_rate': '9.157e-07', 'ppl': '7.591', 'memory/max_active (GiB)': '56.9', 'memory/max_allocated (GiB)': '56.9', 'memory/device_reserved (GiB)': '58.59', 'tokens/train_per_sec_per_gpu': '725.7', 'tokens/total': 917504, 'tokens/trainable': 760024, 'epoch': '0.8485'}
22%|██████████████████████████████████████ | 7/32 [04:41<16:31, 39.65s/it]
25%|███████████████████████████████████████████▌ | 8/32 [05:19<15:46, 39.43s/it]
{'loss': '1.973', 'grad_norm': '2.031', 'learning_rate': '8.865e-07', 'ppl': '7.195', 'memory/max_active (GiB)': '56.9', 'memory/max_allocated (GiB)': '56.9', 'memory/device_reserved (GiB)': '58.59', 'tokens/train_per_sec_per_gpu': '679.7', 'tokens/total': 1048576, 'tokens/trainable': 870008, 'epoch': '0.9697'}
25%|███████████████████████████████████████████▌ | 8/32 [05:19<15:46, 39.43s/it][2026-05-26 03:36:12,524] [INFO] [axolotl.core.trainers.base._save:828] [PID:26934] Saving model checkpoint to ./model-output/checkpoint-8
Writing model shards: 0%| | 0/1 [00:00<?, ?it/s][A
Writing model shards: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:19<00:00, 19.04s/it][A
Writing model shards: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:19<00:00, 19.04s/it]
28%|████████████████████████████████████████████████▉ | 9/32 [06:03<15:35, 40.69s/it]
{'loss': '1.868', 'grad_norm': '2.828', 'learning_rate': '8.536e-07', 'ppl': '6.472', 'memory/max_active (GiB)': '52.35', 'memory/max_allocated (GiB)': '52.35', 'memory/device_reserved (GiB)': '58.59', 'tokens/train_per_sec_per_gpu': '2718', 'tokens/total': 1081344, 'tokens/trainable': 897659, 'epoch': '1'}
28%|████████████████████████████████████████████████▉ | 9/32 [06:03<15:35, 40.69s/it]
31%|██████████████████████████████████████████████████████ | 10/32 [06:44<14:55, 40.72s/it]
{'loss': '1.987', 'grad_norm': '2.016', 'learning_rate': '8.172e-07', 'ppl': '7.292', 'memory/max_active (GiB)': '57.15', 'memory/max_allocated (GiB)': '57.15', 'memory/device_reserved (GiB)': '58.98', 'tokens/train_per_sec_per_gpu': '657.4', 'tokens/total': 1212416, 'tokens/trainable': 1004394, 'epoch': '1.121'}
31%|██████████████████████████████████████████████████████ | 10/32 [06:44<14:55, 40.72s/it]
34%|███████████████████████████████████████████████████████████▍ | 11/32 [07:23<14:04, 40.22s/it]
{'loss': '2.003', 'grad_norm': '1.969', 'learning_rate': '7.778e-07', 'ppl': '7.412', 'memory/max_active (GiB)': '57.15', 'memory/max_allocated (GiB)': '57.15', 'memory/device_reserved (GiB)': '58.98', 'tokens/train_per_sec_per_gpu': '664.9', 'tokens/total': 1343488, 'tokens/trainable': 1110879, 'epoch': '1.242'}
34%|███████████████████████████████████████████████████████████▍ | 11/32 [07:23<14:04, 40.22s/it]
38%|████████████████████████████████████████████████████████████████▉ | 12/32 [08:02<13:17, 39.88s/it]
{'loss': '1.951', 'grad_norm': '1.883', 'learning_rate': '7.357e-07', 'ppl': '7.037', 'memory/max_active (GiB)': '57.15', 'memory/max_allocated (GiB)': '57.15', 'memory/device_reserved (GiB)': '58.98', 'tokens/train_per_sec_per_gpu': '721.7', 'tokens/total': 1474560, 'tokens/trainable': 1220825, 'epoch': '1.364'}
38%|████████████████████████████████████████████████████████████████▉ | 12/32 [08:02<13:17, 39.88s/it]
41%|██████████████████████████████████████████████████████████████████████▎ | 13/32 [08:41<12:32, 39.60s/it]
{'loss': '1.964', 'grad_norm': '1.984', 'learning_rate': '6.913e-07', 'ppl': '7.129', 'memory/max_active (GiB)': '57.15', 'memory/max_allocated (GiB)': '57.15', 'memory/device_reserved (GiB)': '58.98', 'tokens/train_per_sec_per_gpu': '693.7', 'tokens/total': 1605632, 'tokens/trainable': 1330584, 'epoch': '1.485'}
41%|██████████████████████████████████████████████████████████████████████▎ | 13/32 [08:41<12:32, 39.60s/it]
44%|███████████████████████████████████████████████████████████████████████████▋ | 14/32 [09:20<11:50, 39.46s/it]
{'loss': '2.022', 'grad_norm': '1.945', 'learning_rate': '6.451e-07', 'ppl': '7.553', 'memory/max_active (GiB)': '57.15', 'memory/max_allocated (GiB)': '57.15', 'memory/device_reserved (GiB)': '58.98', 'tokens/train_per_sec_per_gpu': '679.3', 'tokens/total': 1736704, 'tokens/trainable': 1439451, 'epoch': '1.606'}
44%|███████████████████████████████████████████████████████████████████████████▋ | 14/32 [09:20<11:50, 39.46s/it]
47%|█████████████████████████████████████████████████████████████████████████████████ | 15/32 [09:59<11:10, 39.41s/it]
{'loss': '1.86', 'grad_norm': '1.836', 'learning_rate': '5.975e-07', 'ppl': '6.424', 'memory/max_active (GiB)': '57.15', 'memory/max_allocated (GiB)': '57.15', 'memory/device_reserved (GiB)': '58.98', 'tokens/train_per_sec_per_gpu': '672.1', 'tokens/total': 1867776, 'tokens/trainable': 1548540, 'epoch': '1.727'}
47%|█████████████████████████████████████████████████████████████████████████████████ | 15/32 [09:59<11:10, 39.41s/it]
50%|██████████████████████████████████████████████████████████████████████████████████████▌ | 16/32 [10:38<10:28, 39.27s/it]
{'loss': '1.987', 'grad_norm': '1.906', 'learning_rate': '5.49e-07', 'ppl': '7.29', 'memory/max_active (GiB)': '57.15', 'memory/max_allocated (GiB)': '57.15', 'memory/device_reserved (GiB)': '58.98', 'tokens/train_per_sec_per_gpu': '712.4', 'tokens/total': 1998848, 'tokens/trainable': 1658993, 'epoch': '1.848'}
50%|██████████████████████████████████████████████████████████████████████████████████████▌ | 16/32 [10:38<10:28, 39.27s/it][2026-05-26 03:41:31,287] [INFO] [axolotl.core.trainers.base._save:828] [PID:26934] Saving model checkpoint to ./model-output/checkpoint-16
Writing model shards: 0%| | 0/1 [00:00<?, ?it/s][A
Writing model shards: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:18<00:00, 18.90s/it][A
Writing model shards: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:18<00:00, 18.90s/it]
53%|███████████████████████████████████████████████████████████████████████████████████████████▉ | 17/32 [11:51<12:19, 49.28s/it]
{'loss': '1.935', 'grad_norm': '1.867', 'learning_rate': '5e-07', 'ppl': '6.924', 'memory/max_active (GiB)': '57.15', 'memory/max_allocated (GiB)': '57.15', 'memory/device_reserved (GiB)': '58.98', 'tokens/train_per_sec_per_gpu': '726.2', 'tokens/total': 2129920, 'tokens/trainable': 1767537, 'epoch': '1.97'}
53%|███████████████████████████████████████████████████████████████████████████████████████████▉ | 17/32 [11:51<12:19, 49.28s/it]
56%|█████████████████████████████████████████████████████████████████████████████████████████████████▎ | 18/32 [12:01<08:44, 37.45s/it]
{'loss': '1.848', 'grad_norm': '2.703', 'learning_rate': '4.51e-07', 'ppl': '6.35', 'memory/max_active (GiB)': '52.35', 'memory/max_allocated (GiB)': '52.35', 'memory/device_reserved (GiB)': '58.85', 'tokens/train_per_sec_per_gpu': '2820', 'tokens/total': 2162688, 'tokens/trainable': 1795318, 'epoch': '2'}
56%|█████████████████████████████████████████████████████████████████████████████████████████████████▎ | 18/32 [12:01<08:44, 37.45s/it]
59%|██████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 19/32 [12:41<08:19, 38.40s/it]
{'loss': '1.926', 'grad_norm': '1.852', 'learning_rate': '4.025e-07', 'ppl': '6.864', 'memory/max_active (GiB)': '57.15', 'memory/max_allocated (GiB)': '57.15', 'memory/device_reserved (GiB)': '58.98', 'tokens/train_per_sec_per_gpu': '721.7', 'tokens/total': 2293760, 'tokens/trainable': 1906259, 'epoch': '2.121'}
59%|██████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 19/32 [12:41<08:19, 38.40s/it]
62%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 20/32 [13:20<07:42, 38.54s/it]
{'loss': '1.977', 'grad_norm': '1.93', 'learning_rate': '3.549e-07', 'ppl': '7.221', 'memory/max_active (GiB)': '57.15', 'memory/max_allocated (GiB)': '57.15', 'memory/device_reserved (GiB)': '58.98', 'tokens/train_per_sec_per_gpu': '742.3', 'tokens/total': 2424832, 'tokens/trainable': 2014483, 'epoch': '2.242'}
62%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 20/32 [13:20<07:42, 38.54s/it]
66%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 21/32 [13:59<07:05, 38.67s/it]
{'loss': '1.845', 'grad_norm': '1.898', 'learning_rate': '3.087e-07', 'ppl': '6.33', 'memory/max_active (GiB)': '57.15', 'memory/max_allocated (GiB)': '57.15', 'memory/device_reserved (GiB)': '58.98', 'tokens/train_per_sec_per_gpu': '712.8', 'tokens/total': 2555904, 'tokens/trainable': 2122973, 'epoch': '2.364'}
66%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 21/32 [13:59<07:05, 38.67s/it]
69%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 22/32 [14:38<06:27, 38.76s/it]
{'loss': '2.007', 'grad_norm': '1.922', 'learning_rate': '2.643e-07', 'ppl': '7.442', 'memory/max_active (GiB)': '57.15', 'memory/max_allocated (GiB)': '57.15', 'memory/device_reserved (GiB)': '58.98', 'tokens/train_per_sec_per_gpu': '687.6', 'tokens/total': 2686976, 'tokens/trainable': 2229423, 'epoch': '2.485'}
69%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 22/32 [14:38<06:27, 38.76s/it]
72%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 23/32 [15:17<05:49, 38.84s/it]
{'loss': '2.02', 'grad_norm': '1.93', 'learning_rate': '2.222e-07', 'ppl': '7.535', 'memory/max_active (GiB)': '57.15', 'memory/max_allocated (GiB)': '57.15', 'memory/device_reserved (GiB)': '58.98', 'tokens/train_per_sec_per_gpu': '712.5', 'tokens/total': 2818048, 'tokens/trainable': 2340301, 'epoch': '2.606'}
72%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 23/32 [15:17<05:49, 38.84s/it]
75%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 24/32 [15:56<05:10, 38.86s/it]
{'loss': '1.962', 'grad_norm': '1.961', 'learning_rate': '1.828e-07', 'ppl': '7.111', 'memory/max_active (GiB)': '57.15', 'memory/max_allocated (GiB)': '57.15', 'memory/device_reserved (GiB)': '58.98', 'tokens/train_per_sec_per_gpu': '685', 'tokens/total': 2949120, 'tokens/trainable': 2450553, 'epoch': '2.727'}
75%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 24/32 [15:56<05:10, 38.86s/it][2026-05-26 03:46:49,105] [INFO] [axolotl.core.trainers.base._save:828] [PID:26934] Saving model checkpoint to ./model-output/checkpoint-24
Writing model shards: 0%| | 0/1 [00:00<?, ?it/s][A
Writing model shards: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:19<00:00, 19.38s/it][A
Writing model shards: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:19<00:00, 19.38s/it]
78%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 25/32 [17:11<05:48, 49.75s/it]
{'loss': '2.034', 'grad_norm': '1.93', 'learning_rate': '1.464e-07', 'ppl': '7.647', 'memory/max_active (GiB)': '57.15', 'memory/max_allocated (GiB)': '57.15', 'memory/device_reserved (GiB)': '58.98', 'tokens/train_per_sec_per_gpu': '677.7', 'tokens/total': 3080192, 'tokens/trainable': 2559056, 'epoch': '2.848'}
78%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 25/32 [17:11<05:48, 49.75s/it]
81%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 26/32 [17:50<04:39, 46.59s/it]
{'loss': '1.87', 'grad_norm': '1.82', 'learning_rate': '1.135e-07', 'ppl': '6.486', 'memory/max_active (GiB)': '57.15', 'memory/max_allocated (GiB)': '57.15', 'memory/device_reserved (GiB)': '58.98', 'tokens/train_per_sec_per_gpu': '666.4', 'tokens/total': 3211264, 'tokens/trainable': 2664944, 'epoch': '2.97'}
81%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 26/32 [17:50<04:39, 46.59s/it]
84%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 27/32 [18:00<02:58, 35.61s/it]
{'loss': '2.035', 'grad_norm': '2.859', 'learning_rate': '8.427e-08', 'ppl': '7.652', 'memory/max_active (GiB)': '52.35', 'memory/max_allocated (GiB)': '52.35', 'memory/device_reserved (GiB)': '58.98', 'tokens/train_per_sec_per_gpu': '2781', 'tokens/total': 3244032, 'tokens/trainable': 2692531, 'epoch': '3'}
84%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 27/32 [18:00<02:58, 35.61s/it]
88%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 28/32 [18:41<02:28, 37.07s/it]
{'loss': '2', 'grad_norm': '1.914', 'learning_rate': '5.904e-08', 'ppl': '7.388', 'memory/max_active (GiB)': '57.15', 'memory/max_allocated (GiB)': '57.15', 'memory/device_reserved (GiB)': '58.98', 'tokens/train_per_sec_per_gpu': '706.3', 'tokens/total': 3375104, 'tokens/trainable': 2801456, 'epoch': '3.121'}
88%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 28/32 [18:41<02:28, 37.07s/it]
91%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 29/32 [19:20<01:52, 37.65s/it]
{'loss': '1.987', 'grad_norm': '1.914', 'learning_rate': '3.806e-08', 'ppl': '7.294', 'memory/max_active (GiB)': '57.15', 'memory/max_allocated (GiB)': '57.15', 'memory/device_reserved (GiB)': '58.98', 'tokens/train_per_sec_per_gpu': '679.9', 'tokens/total': 3506176, 'tokens/trainable': 2911542, 'epoch': '3.242'}
91%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 29/32 [19:20<01:52, 37.65s/it]
94%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 30/32 [19:59<01:16, 38.03s/it]
{'loss': '1.951', 'grad_norm': '1.977', 'learning_rate': '2.153e-08', 'ppl': '7.037', 'memory/max_active (GiB)': '57.15', 'memory/max_allocated (GiB)': '57.15', 'memory/device_reserved (GiB)': '58.98', 'tokens/train_per_sec_per_gpu': '708', 'tokens/total': 3637248, 'tokens/trainable': 3019702, 'epoch': '3.364'}
94%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 30/32 [19:59<01:16, 38.03s/it]
97%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 31/32 [20:38<00:38, 38.29s/it]
{'loss': '1.939', 'grad_norm': '1.914', 'learning_rate': '9.607e-09', 'ppl': '6.954', 'memory/max_active (GiB)': '57.15', 'memory/max_allocated (GiB)': '57.15', 'memory/device_reserved (GiB)': '58.98', 'tokens/train_per_sec_per_gpu': '670.7', 'tokens/total': 3768320, 'tokens/trainable': 3128447, 'epoch': '3.485'}
97%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 31/32 [20:38<00:38, 38.29s/it]
100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 32/32 [21:17<00:00, 38.67s/it]
{'loss': '1.915', 'grad_norm': '1.867', 'learning_rate': '2.408e-09', 'ppl': '6.787', 'memory/max_active (GiB)': '57.15', 'memory/max_allocated (GiB)': '57.15', 'memory/device_reserved (GiB)': '58.98', 'tokens/train_per_sec_per_gpu': '674.1', 'tokens/total': 3899392, 'tokens/trainable': 3238934, 'epoch': '3.606'}
100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 32/32 [21:17<00:00, 38.67s/it][2026-05-26 03:52:10,303] [INFO] [axolotl.core.trainers.base._save:828] [PID:26934] Saving model checkpoint to ./model-output/checkpoint-32
Writing model shards: 0%| | 0/1 [00:00<?, ?it/s][A
Writing model shards: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:20<00:00, 20.32s/it][A
Writing model shards: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:20<00:00, 20.33s/it]
{'train_runtime': '1313', 'train_samples_per_second': '0.39', 'train_steps_per_second': '0.024', 'train_loss': '1.957', 'memory/max_active (GiB)': '30.26', 'memory/max_allocated (GiB)': '30.26', 'memory/device_reserved (GiB)': '58.98', 'epoch': '3.606', 'tokens/train_per_sec_per_gpu': '0'}
100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 32/32 [21:53<00:00, 38.67s/it]
100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 32/32 [21:53<00:00, 41.04s/it]
[2026-05-26 03:52:45,672] [INFO] [axolotl.train.save_trained_model:267] [PID:26934] Training completed! Saving trained model to ./model-output.
Writing model shards: 0%| | 0/1 [00:00<?, ?it/s]
Writing model shards: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:18<00:00, 18.32s/it]
Writing model shards: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:18<00:00, 18.32s/it]
[2026-05-26 03:53:04,022] [INFO] [axolotl.train.save_trained_model:388] [PID:26934] Model successfully saved to ./model-output
|