tokens 640009970
shards 7
batches 39058
window 16384
grad_accum 8
usable_steps 4882
mix b3_16384_32768 target 0.5000 actual 0.5000 tokens 320011377
mix b2_8192_16384 target 0.3000 actual 0.3000 tokens 192001713
mix b1_4096_8192 target 0.2000 actual 0.2000 tokens 127996880