tokens 640009068
shards 7
batches 19527
window 32768
grad_accum 16
usable_steps 1220
mix b4_32768_65536 target 0.5000 actual 0.5000 tokens 320016798
mix b3_16384_32768 target 0.3000 actual 0.3000 tokens 192003808
mix b1_4096_8192 target 0.2000 actual 0.2000 tokens 127988462