| python infer_multi_worker.py \ | |
| --gpus 0,1,2,3 \ | |
| --max_jobs 4 \ | |
| --num_shards 4 \ | |
| --ckpt_dir ../ \ | |
| --data_jsonl ./mof_inf_1M.jsonl \ | |
| --out_dir ./test_outputs_multi \ | |
| --batch_size 64 \ | |
| --max_length 512 \ | |
| --flush_every_steps 5 | |
| python infer_multi_worker.py \ | |
| --gpus 0,1,2,3 \ | |
| --max_jobs 4 \ | |
| --num_shards 4 \ | |
| --ckpt_dir ../ \ | |
| --data_jsonl ./mof_inf_1M.jsonl \ | |
| --out_dir ./test_outputs_multi \ | |
| --batch_size 64 \ | |
| --max_length 512 \ | |
| --flush_every_steps 5 | |