SC-repro
Collection
่ฟๆฏๆๅค็ฐ SC ็ๅฎ้ช โข 10 items โข Updated
Qwen3-4B-SC-CodeAgent-200Steps
่ฟๆฏๅบไบ Qwen/Qwen3-4B ๅๅง็ๆฌ่ฎญ็ป็ๆข็ดขๆงๆฃๆฅ็น๏ผไฝฟ็จ Score Centering๏ผSC๏ผๅ่ช็ถๅผๆญฅ rollout๏ผๅจไธไธช็ป่ฟ็ญ้็ TACO ๅญ้ไธๅฎๆไบ 200 ไธช่ฎญ็ปๆญฅใๅฎไธๆฏ Qwen3-4B ็ 2507 ็ๆฌ๏ผไนไธๆฏ็ป่ฟ้ช่ฏ็้็จไปฃ็ agentใ
ๆ็ปๅจๅบๅฎ็ 256 ้ข TACO ๅผๅ้ไธ๏ผ130 ้ข้่ฟ่ฏฅๅฎ้ชไฟๅญ็ๅ จ้จๆต่ฏ๏ผๅ็กฎ็ไธบ 50.78%ใไฝๅทฅๅ ทไฝฟ็จ้ๅธธๅฐ๏ผไธๅคง้่ฝจ่ฟน่พพๅฐ้ฟๅบฆไธ้ๅๆฒกๆๅฏๅค้ข็ๅฎๆดๆไบคใๆฌๆฌกๅๅธไธป่ฆ็จไบ่ฎฐๅฝๅฎ้ชใๅๆ่ฎญ็ป่กไธบๅๅผๅฑๅ็ปญๅฏน็ ง๏ผไธๆฎๆญคๅฎฃ็งฐ SC ไผไบๅ ถไป็ฎๆณ๏ผๆ agent ่ฝๅๅพๅฐๆๅใ
ๅฎ้ช็ปๆ
ๆฏ 25 ๆญฅๅจๅไธๅบๅฎๅผๅ้ไธ้ช่ฏไธๆฌก๏ผๆฏ้ข้ๆ ทไธไธชๅ็ญใไธ่กจๅๅบๅ จ้จ 8 ๆฌก็ปๆ๏ผๆช็็ฅๅ่ฝ็นใ
| ่ฎญ็ปๆญฅ | ๅ จๆต่ฏ้่ฟ้ขๆฐ / 256 | ้ข็ฎๅ็กฎ็ | ้้ขๆต่ฏ้่ฟ็ๅๅผ | ๆๅฏๆๅไปฃ็ ็ๆฏไพ | ๅฎ้ ไฝฟ็จๅทฅๅ ท็้ขๆฐ |
|---|---|---|---|---|---|
| 25 | 94 | 36.72% | 37.08% | 38.28% | 3 |
| 50 | 93 | 36.33% | 38.10% | 39.84% | 2 |
| 75 | 104 | 40.63% | 43.27% | 45.70% | 0 |
| 100 | 114 | 44.53% | 47.56% | 50.78% | 0 |
| 125 | 118 | 46.09% | 51.60% | 55.08% | 0 |
| 150 | 117 | 45.70% | 51.54% | 56.64% | 0 |
| 175 | 123 | 48.05% | 53.50% | 56.64% | 0 |
| 200 | 130 | 50.78% | 56.11% | 61.33% | 0 |
ๆๆ ๅซไน๏ผ
- **้ข็ฎๅ็กฎ็
acc**๏ผๆ็ปๆไบค้่ฟ่ฏฅ้ขๅ จ้จไฟๅญๆต่ฏๆถ่ฎฐไธบ 1๏ผๅฆๅไธบ 0ใ - **้้ขๆต่ฏ้่ฟ็ๅๅผ
pass_rate**๏ผๅ ่ฎก็ฎๆฏ้ข้่ฟๆต่ฏ็ๆฏไพ๏ผๅๅฏน้ข็ฎๅๅนณๅ๏ผไธๆฏๆๆๆ้ข็ๆต่ฏๆททๅจไธ่ตท่ฎก็ฎ้่ฟ็ใๆฒกๆๅฏๅค้ขๆไบค็้ข็ฎ่ฎฐไธบ 0ใ - **ๆๅฏๆๅไปฃ็
format_ok**๏ผๅค้ขๅจ่ฝๅคไปๆซๆฌกๅฉๆๅ็ญไธญๆๅ้ญๅไปฃ็ ๅใ่ฟไธไฟ่ฏไปฃ็ ๆญฃ็กฎ๏ผไนไธๅผบๅถ่ฆๆฑ<answer>ๆ ็ญพใ - ๅฎ้ ไฝฟ็จๅทฅๅ ท๏ผ้็ฆปๆง่กๅจ็กฎๅฎๅฏๅจไบ Python ่ฟ็จ๏ผๅช็ๆ่ฐ็จๆ่ฟฐๆๆ ๆๅๆฐไธ่ฎกไธบๅฎ้ ๆง่ก๏ผ็จๅบๅฏๅจๅๆฅ้ๅไป็ฎไฝฟ็จ่ฟๅทฅๅ ทใ
็ฌฌ 200 ๆญฅ็ๅผๅ้็ปๆๅฏ่ฟไธๆญฅๅไธบ๏ผ157/256 ้ขๆๅฏๆๅไปฃ็ ๏ผ99/256 ้ขๆฒกๆๅฏๅค้ขๆไบค๏ผๆๆไบค็ 157 ้ขไธญ๏ผ130 ้ขๅ จ้่ฟใๅไธไธชๆกไปถๆฏไพไธ่ฝๆฟไปฃๅฎๆดๅผๅ้ๅ็กฎ็ใๅฆๆ 4 ้ขๅบ็ฐ็จๅบๆง่ก้่ฏฏๆ่ถ ๆถ๏ผๅ ฑๆถๅ 123 ไธชๆต่ฏ็จไพ๏ผ่ฟไธๆฏโ123 ้้ขๅบ้โใๆชๅบ็ฐๅค้ข็ดฏ่ฎกๆง่ก้ข็ฎ่ๅฐฝใ
ไธๅพๆพ็คบ SC ไฟฎๆญฃ้กนใๆขฏๅบฆ่ๆฐใtop-128 ๆช่ฆ็็ๆฆ็่ดจ้๏ผไปฅๅๅฎ้ ้ๆ ท็ๆฌๆปๅใๆฆ็่ฆ็็้ซไธ็ญไบ็ฎๆณไผไบๅ ถไปๆนๆณใ
้ๆญฅๆฐๅผ่งๅๅงๆๆ ๆไปถใ็ปๆๆ่ฆ๏ผๅฎ้ช่ฎพ็ฝฎ่ง่ฎญ็ป้ ็ฝฎใ
ๅทฅๅ ท่กไธบไธๆชๆญ
่ฎญ็ปๆฅๅฟๅ ฑ่ฎฐๅฝ 12,800 ๆก่ฝจ่ฟน๏ผๅ ถไธญๅชๆ 40 ๆก๏ผ0.3125%๏ผๅฎ้ ๆง่ก่ฟๅทฅๅ ทใๆๅ 50 ไธช่ฎญ็ปๆญฅ็ๅทฅๅ ทไฝฟ็จ็ไธบ 0๏ผๆ็ปๅผๅ้็ 256 ๆก่ฝจ่ฟนไนๅๆช่ฐ็จๅทฅๅ ทใ
้ฟๅบฆไธ้ไปๆฏๆๆพ้ๅถใๆๅ 50 ๆญฅ็่ฎญ็ป่ฝจ่ฟน่พพๅฐๅๅบ้ฟๅบฆไธ้็ๆฏไพๅนณๅไธบ **40.81%**๏ผๆๅไธๆน 64 ๆกไธญ๏ผ34 ๆก่พพๅฐ 8,192 tokens๏ผ32 ๆกๆฒกๆๅฏๅค้ขๆไบค๏ผไธ่ฟ 32 ๆกๅ จ้จ่พพๅฐ้ฟๅบฆไธ้ใๆฝๆฅๅฏ่งๅฐๆช็ปๆ็ๆจ็ๅๆชๅๅฎ็ไปฃ็ ใ่ฟไบๆฏ่ฎญ็ป่ฝจ่ฟน็็ป่ฎก๏ผไธ่ฝ็ดๆฅๅฝไฝๆ็ปๅผๅ้็ๆชๆญๆฏไพใ
ๅ ๆญค๏ผ่ฟไธชๆฃๆฅ็น็ๅทฒ่งๆต่กไธบไธป่ฆๆฏ็ดๆฅ็ๆไปฃ็ ๏ผๅฐๆชๅฑ็คบ็จณๅฎ็โ่ฐ็จๅทฅๅ ทโ้ ่ฏปๅ้ฆโไฟฎๆนๆนๆกโ่ฝๅใๅทฅๅ ท่ฐ็จ็จๅฐไนไธ่ฝๅ็ฌ่ฏๆ SC ๆ ๆ๏ผๆฌๆฌกๆฒกๆๅน้ ็็ฎๆณๅฏน็ ง๏ผไบฆๆช้็ฆปไปปๅกใๆ็คบใ้ฟๅบฆ้ข็ฎๅไผๅ็ฎๆ ๅ่ช็ๅฝฑๅใ
่ฎญ็ปๆนๆณไธ้ ็ฝฎ
่ฎญ็ป้็จ verl ๅ็ ToolAgentLoop ๅ ่ชๅฎไน run_python ๅทฅๅ
ท๏ผrollout ไธ่ฎญ็ปไฝฟ็จ็ฌ็ซ GPU ๆฑ ๅนถ่ก่ฟ่กใๆฌๅฎ้ชๆฒกๆไฝฟ็จ HarborใTerminal-Bench ๆ SWE ็ฏๅข๏ผๅฎๆฏๅธฆๅฏ้ Python ่ชๆตๅทฅๅ
ท็ๆ ๅ่พๅ
ฅ/่พๅบ็ผ็จไปปๅก๏ผๅทฅๅ
ท่ฐ็จไน้ดๆฒกๆๆไน
ๆไปถ็ณป็ป็ถๆใ
SC ้่ฟไธญๅฟๅ็ญ็ฅ็ score ๆฅๆๅถ่ฎญ็ปไธ้ๆ ทๅๅธไธไธ่ดๆถ็ๆผ็งปใๆฌๅฎ้ชไฝฟ็จ้ๆ ท็ซฏๆฏไธช็ๆ token ็ top-128 ๆฆ็ๆ้ ่ฟไผผไธญๅฟๅ้กน๏ผๅนถๆฉๅฑไบๅค่ฝฎๅทฅๅ ท่ฝจ่ฟน็ๅ ๆฐๆฎๅฏน้ฝใๅทฅๅ ท่งๅฏๅๅ ถไป้ๆจกๅ็ๆๅ ๅฎนไธๅไธ็ญ็ฅๆๅคฑใ
| ้กน็ฎ | ้ ็ฝฎ |
|---|---|
| ๅๅงๅ | ๅๅง Qwen/Qwen3-4B๏ผthinking ๆจกๅผๅผๅฏ |
| ่ฎญ็ปๆกๆถ | verl๏ผๅบไบ upstream 8718ca30a3f002f93b7c4fd99b9b2506718681bc๏ผๅ ๆฌๅฎ้ชไฟฎๆน |
| ็กฌไปถ | 8 ร NVIDIA A100 80GB๏ผ4 ๅผ ่ฎญ็ป๏ผ4 ๅผ ็ฌ็ซ rollout |
| ่ฎญ็ป / ๆจ็ๅ็ซฏ | FSDP2 / vLLM๏ผrollout TP=1 |
| ๆฐๅผ็ฒพๅบฆ | BF16 ่ฎก็ฎ๏ผFP32 ไธปๅๆฐ |
| ๆฌไปๅบๅๅธๆ้ | ไป่ฎญ็ปๆฃๆฅ็นๅฏผๅบไธบ BF16๏ผไพๆจ็ไฝฟ็จ |
| ๆดๆฐ็ฎๆ | REINFORCE ๅฝขๅผ็็ญ็ฅๆๅคฑ + SC๏ผbypass_mode=True |
| ไผๅฟไผฐ่ฎก | ๆฏ้ข 4 ๆกๅ็ญ๏ผๅๅป็ปๅ ๅนณๅๅฅๅฑ๏ผไธๆ็ปๅ ๆ ๅๅทฎๅฝไธๅ |
| ๅ ถไปไฟฎๆญฃ | ไธไฝฟ็จ TISใRS ๆ PPO clipping๏ผไธไฝฟ็จ criticใKL ๆฉ็ฝๆ็ตๅฅๅฑ |
| SC ๆฆ็่ฎฐๅฝ | top-128๏ผ่ฟๆฏๆฆ็่ฎฐๅฝๅฎฝๅบฆ๏ผไธๆฏ็ๆๆถ็ top-k ๆชๆญ |
| ไผๅๅจ | AdamW๏ผๅญฆไน ็ 1e-6๏ผๆๅฎๅญฆไน ็๏ผๆ warmup๏ผweight decay=0 |
| ๆขฏๅบฆ่ฃๅช | ๅ จๅฑ่ๆฐไธ้ 1.0 |
| ๆนๆฌก | ๆฏ่ฎญ็ปๆญฅ 16 ้ข ร 4 ๅ็ญ๏ผๅ
ฑ 64 ๆก่ฝจ่ฟน๏ผppo_epochs=1 |
| ่ฎญ็ป้ฟๅบฆ | 200 ไธช trainer steps๏ผๆฏ 25 ๆญฅ้ช่ฏใๆฏ 50 ๆญฅไฟๅญๆฃๆฅ็น |
| ๅผๆญฅ่ฎพ็ฝฎ | separate_async๏ผๆฏไธช่ฎญ็ปๆญฅๅๆญฅๆ้๏ผ้ขๅกซๅ
2 ๆน |
| ๆปๅๆงๅถ | max_off_policy_threshold=4๏ผ่ถ
ๅบ้ๅถไฝฟ็จ drop ็ญ็ฅ |
| ไธไธๆ้ข็ฎ | prompt ๆ้ฟ 4,096๏ผๅๅบๆ้ฟ 8,192๏ผๆป้ฟๅบฆไธ้ 12,288 tokens |
| ๅค่ฝฎ้ข็ฎ | ๆๅค 6 ไธชๅฉๆ่ฝฎๆฌก๏ผๆฏ่ฝฎๆๅค 1 ไธชๅนถ่กๅทฅๅ ท่ฐ็จ |
| ่ฎญ็ป้ๆ ท | temperature=1.0๏ผtop-p=1.0๏ผไธๅฏ็จ็ๆ top-k ๆชๆญ |
| ๅผๅ้้ๆ ท | ๆฏ้ข 1 ๆก๏ผtemperature=0.6๏ผtop-p=1.0๏ผไธๅฏ็จ็ๆ top-k ๆชๆญ |
| ้ๆบๆง | ๅๆฌก่ฟ่ก๏ผๆฐๆฎ็งๅญ 42๏ผๆฒกๆๅค็งๅญ้ๅคๅฎ้ช |
่ฟ้็ๆปๅๆฅ่ช็ๅฎ็็ๆใ้ๅๅ่ฎญ็ปๅนถ่ก๏ผๆชไบบไธบ็ปๆฏๆก่ฝจ่ฟนๅบๅฎๅขๅ 4 ๆญฅๅปถ่ฟใๆฏๆญฅๅๆญฅไนไธไผไฝฟๅทฒ็ป็ๆ็ๆฐๆฎ้ๆฐๅๆๅฝๅ็ญ็ฅๆ ทๆฌใๆฅๅฟไธญ่ฎฐๅฝๅฐ็ๆๅคง่ฝจ่ฟน็ๆฌ่ทจๅบฆไธบ 4ใ
ๅฅๅฑไฝฟ็จๆ็ปไปฃ็ ็ๆต่ฏ้่ฟๆฏไพ๏ผ่ๅดไธบ [0, 1]๏ผๆฒกๆๅทฅๅ
ทไฝฟ็จๅฅๅฑใๆจกๅๅฏไปฅ็จ้ข้ขๆ ทไพๆ่ชๅทฑๆ้ ็ stdin ่ฐ็จๅทฅๅ
ท๏ผไฝไธ่ฝ้่ฟๅทฅๅ
ทๆฅ่ฏข้่ๆต่ฏ๏ผ้่ๆต่ฏไป
็ฑๆ็ปๅค้ขๅจไฝฟ็จใ
ๆฐๆฎไธๅๅ
ๆฐๆฎๆฅ่ช BAAI/TACO๏ผๅบๅฎ revision ไธบ d593ed0a2becbbc952230bb89be09189bf1056dcใไธบๆงๅถ้ฆๆฌกๅฎ้ช็ๆฐๆฎๅๅคๆๆฌ๏ผไฝฟ็จ ALL ้
็ฝฎไธญ็่ฎญ็ปๅ็ 02ใ03ใ04๏ผๅ่ฟ่ก็ญ้ใ่ฟไธๆฏๅฏนๆดไธช TACO ็้ๆบๆฝๆ ท๏ผไนไธๆฏๅฎๆน TACO ๆต่ฏ้็ปๆใ
็ญ้ไฟ็ๆ ๅ่พๅ ฅ/่พๅบใPython ๆ ๅๅบๅฏๆง่กไปปๅก๏ผๆฃๆฅ้ข็ฎไธๆต่ฏ็ปๆใๅ ๅซๅทฅๅ ท schema ๅ็ prompt ้ฟๅบฆ๏ผๆ้คๅพๅไพ่ตๅ็ไผผ special-judge ไปปๅก๏ผๅนถๆ่ง่ๅๆๆฌใURL ๅๅนณๅฐ้ขๅทๅป้ใๆฏ้ๅ ฅ้้ข่ณๅฐๆไธไปฝไธๆธธๅ่่งฃๅจ็ธๅ้็ฆปๅค้ขๅจไธ้่ฟๅ จ้จไฟๅญๆต่ฏใ้่ฟๅ่่งฃๆ ก้ชไธ็ญไบ่ฏๆ้ข็ฎๆๆ ็ญพ็ปๅฏนๆญฃ็กฎ๏ผspecial-judge ๆ้คไบฆๆฏไฟๅฎๅฏๅๅผใ
ๆ็ปๆๅบๅฎ่งๅๅๅ 2,000 ้ข่ฎญ็ป้ + 256 ้ขๅผๅ้๏ผไธค่ ๅจไธ่ฟฐ่บซไปฝ้ฎไธๆ ้ๅ ใๅ่่งฃๅ้่ๆต่ฏไธ่ฟๅ ฅๆจกๅๆ็คบใๅผๅ้่ขซๅๅค็จไบ่ฎญ็ปๆ้ด้ช่ฏ๏ผๅ ๆญคๆฌๅกๅฐๅ ถ็งฐไธบ dev๏ผ่้ๆช่งฆ็ขฐ็ๆ็ปๆต่ฏ้ใ
ๅฆๅทฒๅๅคๅฎๆน LiveCodeBench release_v6 ็ public/private tests๏ผๅนถ็จไบๅทฒ็ฅ้ข็ฎ่บซไปฝ็ไบคๅๆ้ค๏ผๆฌๆฃๆฅ็นๅฐๆชๅจ LiveCodeBench ไธ่ฏๆต๏ผๆฒกๆๅฏๆฅๅ็ LCB ๅๆฐใๅป้ไธ่ฝ่ฏๆๅบ็กๆจกๅ้ข่ฎญ็ปๆฐๆฎไธญไธๅญๅจๆฑกๆใ
ๆง่กไธๅค้ข่พน็
run_python ๆฏๆฌก่ฟ่กไธไธช็ฌ็ซ Python 3.12 ่ฟ็จ๏ผไฝฟ็จ Linux Landlock ๆไปถ่ฎฟ้ฎ้ๅถไธ seccomp ็ณป็ป่ฐ็จ็ฝๅๅใ็ฝ็ปใGPUใ็จๆท็ฎๅฝ่ฏปๅใๅญ่ฟ็จๅๆไปถๅๅ
ฅ่ขซ็ฆๆญข๏ผๅชๆไพ่งฃ้ๅจใๆ ๅๅบใๅฟ
่ฆ็ณป็ปๅบไปฅๅๅฝๅ็จๅบใๅฎๆฏ่ฎฟ้ฎ้็ฆป๏ผไธๆฏๅฎๆด่ๆๆบ๏ผ้จๅ่ทฏๅพๅ
ๆฐๆฎไปๅฏ่ฝๅฏ่งใ
ๅๆฌกๆง่กไธ้ไธบ 3 ็งใ1 GiB ๅฐๅ็ฉบ้ด๏ผๆฏไธช่พๅบๆตๆๅค 1 MiBใๅค้ข็ดฏ่ฎกๆง่ก้ข็ฎไธบ 90 ็ง๏ผๆ้่ๆถๅ็ฌ่ฎฐๅฝ๏ผไธ่ฎกๅ ฅ่ฏฅ้ข็ฎใๅฏๅจๅคฑ่ดฅ้่ฟ็จๆท็จๅบๆ ๆณ็ปงๆฟ็ไธ็จ็ถๆ็ฎก้ๆฅๅ๏ผไธๆๅบ็ก่ฎพๆฝๆ ้ๅฝๆๆฎ้้่ฏฏ็ญๆกใ
ๅค้ขๅชไฝฟ็จๆๅไธไธชๅฉๆ็ๆๆฎตไธญ็ไปฃ็ ใ่ถ ้ฟๆดๆฐ่พๅบ้็จ็ฒพ็กฎๅ่ฟๅถๅญ็ฌฆไธฒๆฏ่พ๏ผ้ฟๅ Python ๆดๆฐ่ฝฌๆขไฝๆฐ้ๅถ๏ผๆตฎ็น่พๅบ้็จๅฎนๅทฎๆฏ่พใ่ฟ้ไฝฟ็จ็ๆฏๅฎ้ช่ชๅฎไนๅค้ขๅจ๏ผไธๅฃฐ็งฐไธๅฎๆน LiveCodeBench checker ๅฎๅ จไธ่ดใ
ๅๅธๆไปถไธๅฏผๅบ้ช่ฏ
ๆฌไปๅบๅๅธๆ็ป็ฌฌ 200 ๆญฅ็ BF16 ๆจ็ๆ้ใtokenizerใchat template ๅ generation config๏ผๅนถ้ๅธฆ่ฎญ็ปๆๆ ไธ้ ็ฝฎๆ่ฆใๅฎไธๆฏๅธฆ optimizer ็ถๆ็่ฎญ็ปๆขๅคๅ ๏ผไนๆฒกๆๆๅ ๅฎๆด่ฎญ็ป็ฏๅขๆๅทฅๅ ท harnessใ
ๅฎๆน verl ๅๅนถๅจๅฐๅไธช FP32 ่ฎญ็ปๅ็่ฝฌๆขไธบ BF16ใๅทฒๆฃๆฅๅฏผๅบ tensor ็ๅ็งฐใๅฝข็ถใๆ้ๆงไปฅๅไธๆบๅ็ BF16 ่ฝฌๆข็ปๆ็ไธ่ดๆง๏ผๅนถๅฎๆๆฌๅฐ tokenizer ไธ็ญๅๅๅ ่ฝฝๆฃๆฅ๏ผๅฏผๅบๅๆฒกๆ้ๆฐ่ฟ่กๅฎๆดๅผๅ้๏ผๅก็ๅๆฐๆฅ่ช่ฎญ็ปไปปๅกไธญ็ๅฏนๅบ checkpointใๅฏผๅบ็ป่่ง่ฝฌๆขๆธ ๅใ
ไฝฟ็จ
ไธ้ขๅฑ็คบๆฎ้ๆๆฌ็ๆ๏ผ้็จๅบ็กๆจกๅ้ป่ฎค็ temperature=0.6ใtop-p=0.95ใtop-k=20ใ่ฟไธไธ่กจๅผๅ้่ฏๆต่ฎพ็ฝฎไธๅฎๅ จ็ธๅใๆจกๅ็ๆ็ Python ไปฃ็ ไธไผ็ฑๆญค็คบไพ่ชๅจๆง่กใ
import torch
from transformers import AutoTokenizer, AutoModelForCausalLM
model_id = "Palind/Qwen3-4B-SC-CodeAgent-200Steps"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(
model_id,
dtype=torch.bfloat16,
device_map="auto",
)
messages = [
{"role": "system", "content": "Solve the programming task in Python 3. Finish with a complete solution in a Python code block."},
{"role": "user", "content": "Read two integers from standard input and print their sum."},
]
prompt = tokenizer.apply_chat_template(
messages,
tokenize=False,
add_generation_prompt=True,
enable_thinking=True,
)
inputs = tokenizer(prompt, return_tensors="pt").to(model.device)
with torch.inference_mode():
output = model.generate(
**inputs,
do_sample=True,
temperature=0.6,
top_p=0.95,
top_k=20,
max_new_tokens=8192,
)
print(tokenizer.decode(output[0, inputs.input_ids.shape[1]:], skip_special_tokens=False))
ๆจกๅๆ้ๅช็ๆๆๆฌ๏ผๆฌไปๅบไธๆฏๅฏ็ฌ็ซ่ฟ่ก็ agent ไบงๅใ่ฆๅค็ฐๅธฆๅทฅๅ
ท็่ฎพ็ฝฎ๏ผ่ฟ้่ฆ็ป chat template ๆไพ run_python(code, stdin) ็ๅฝๆฐ schema๏ผๅนถ็ฑๅค้จ harness ๆณจๅๅทฅๅ
ทใ่งฃๆ่ฐ็จใๅจ้็ฆปๆง่กๅจไธญ่ฟ่กใๆๅทฅๅ
ทๅๅบไบคๅๆจกๅใๅ็ฌ่ฐ็จ generate() ไธไผ่ชๅจๅปบ็ซๅทฅๅ
ทๆง่ก็ฏๅข๏ผไนไธ็ญไปทไบๆฌๅฎ้ช็่ฏๆตๅ่ฎฎใ
็ฎๅ่ฝๆฏๆ็็ป่ฎบ
่ฟๆฌก่ฟ่ก้ช่ฏไบ 4B ๆจกๅใ8 ๅผ A100 ไธ SC ไธ่ช็ถๅผๆญฅไปฃ็ ไปปๅก้พ่ทฏๅฏไปฅๅฎๆ 200 ๆญฅ่ฎญ็ป๏ผๅนถ็ไธไบ้ๆญฅๆๆ ใๅทฒ่ฎฐๅฝๅผๅ้ๅ็กฎ็ไป็ฌฌ 25 ๆญฅ็ 36.72% ไธๅ่ณ็ฌฌ 200 ๆญฅ็ 50.78%ใ็ฌฌ 25 ๆญฅไธๆฏๅๅงๅๅบ็บฟ๏ผๆฒกๆ step-0 ่ฏๆต๏ผๅ ่ไธ่ฝๆฎๆญคๅฃฐ็งฐ็ธๅฏนๅบ็กๆจกๅๆๅไบ 14.06 ไธช็พๅ็นใ
ๆญคๅค๏ผๆฌๆฌกๆฒกๆๅน้ ่ฎก็ฎ้ข็ฎ็ๆ SC ๅฏน็ งใๆฒกๆๅค็งๅญ้ๅคใๆฒกๆๅค้จ benchmark ๆ็ปฉใๅทฅๅ ทไบคไบ็จๅฐไธๅๆๆถๅคฑ๏ผๅๅบๆชๆญๆฏไพไป้ซใ่ฏฅๆฃๆฅ็น้ๅไฝไธบๅ็ปญๅฏน็ งๅ่ฏๆญ็่ตท็น๏ผๅฐไธ่ถณไปฅๆฏๆ็ฎๆณไผๅฟใ้็จ agent ่ฝๅๆ้ฟ็จ่ฝฏไปถๅทฅ็จ่ฝๅ็็ป่ฎบใ
็ธๅ ณๆฅๆบ
- Downloads last month
- 32