tokens 640008057
shards 7
batches 19529
window 32768
grad_accum 16
usable_steps 1220
mix b4_32768_65536 target 0.5000 actual 0.5000 tokens 320016798
mix b3_16384_32768 target 0.3000 actual 0.3000 tokens 191997925
mix b1_4096_8192 target 0.2000 actual 0.2000 tokens 127993334