File size: 1,067 Bytes
01cf98b | 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 | COMMAND=`echo "$*" | sed 's/\s\+/__SPACE__/g'`
nebulactl run mdl \
--job_name="train_reranker_sft" \
--user_id=524947 \
--queue="pailitao_algo_high_2" \
--entry="scripts/entry/train_qwen35_entry.py" \
--nebula_project=pailitao_v100 \
--algo_name=pytorch280 \
--worker_count=1 \
--file.cluster_file="./cluster.json" \
--user_params="-DCOMMAND=$COMMAND" \
--nas_file_system_id=98d384a407-okl3.cn-zhangjiakou.nas.aliyuncs.com \
--oss_access_id=LTAI5tMZb5HHH6HHgAExAyiL \
--oss_access_key=6MVP8JnTE01t4TLUHhPoFV0swZNTrb \
--oss_bucket=pailitao-ai \
--oss_endpoint=oss-cn-zhangjiakou.aliyuncs.com \
--requirements_file_name=requirements_qwen35.txt
# queue是队列名，algo_name由队列所决定
# nebula_project是集群名
# entry是要运行的主文件
# worker_count 是要用的GPU数量
# nas_file_system_id 和 oss是存储文件的地址
# cluster.json中 需要改的是 cpu核心+memory内存，gpu不改
|