| --- |
| license: apache-2.0 |
| base_model: Qwen/Qwen3-8B |
| tags: |
| - rlvr |
| - grpo |
| - unsloth |
| - code |
| - qwen3 |
| - trl |
| datasets: |
| - open-r1/verifiable-coding-problems-python |
| library_name: peft |
| --- |
| |
| # Qwen3 8B + SFT + GRPO (RLVR, coding) |
|
|
| Qwen3-8B, дообученный в два этапа: SFT на 15k синтетических код-трейсов |
| (багфикс / доработка / кодогенерация, thinking + tool-calling), затем |
| **GRPO с верифицируемой наградой (RLVR)** для усиления кодинга: наградой |
| служит прохождение скрытых stdin→stdout тестов, проверяемых в изолированной |
| песочнице. |
|
|
| ## Архитектура обучения |
|
|
| | Этап | Что происходило | |
| |---|---| |
| | 1. SFT | 15k трейсов (bugfix/modify/codegen/vague), chat template Qwen3, think-цепочки ~450 токенов | |
| | 2. RLVR | GRPO на 997 задачах с gold-верифицированными IO-тестами; LoRA r=16, lr 5e-6, beta=0.0 | |
|
|
| ### Этап RLVR (детали) |
|
|
| - **Задачи**: `open-r1/verifiable-coding-problems-python`, отфильтрованы строгим |
| gold-фильтром: каноническое решение обязано пройти 100% скрытых тестов |
| (выживаемость ~50%: отсев python2-решений, битых тестов, задач без скрытых кейсов). |
| - **Награда**: трёхуровневое сравнение вывода (точное → по токенам → числовое с |
| tolerance 1e-6), частичный pass rate по скрытым кейсам, бонус за полное решение |
| и небольшой format reward. Публичные примеры из условия исключены из награды |
| (защита от hardcoding-хаков). |
| - **Формат**: `/no_think` — RL проводился на коротких ответах без длинных |
| think-цепочек (длина генераций 70–600 токенов). |
| - **Ход**: пилот 30 шагов на RTX L4 (reward MA5 +0.09 → +0.52), затем полный ран |
| по датасету на RTX PRO 6000 (Blackwell). |
|
|
| ## Результаты пилота |
|
|
| За 30 шагов GRPO скользящее среднее награды выросло с +0.09 до +0.52 при живом |
| reward_std (без коллапса в детерминированный ответ) и стабильной длине |
| генераций в пределах лимита. |
| |
| ## Использование |
| |
| Модель обучена отвечать коротко, без длинного reasoning, код — одним python-блоком. |
| Рекомендуемый формат запроса: системный промпт с требованием одного кодового блока, |
| суффикс `/no_think` в сообщении пользователя. |
|
|
| ```python |
| from transformers import AutoModelForCausalLM, AutoTokenizer |
| |
| model = AutoModelForCausalLM.from_pretrained("voperl/Qwen3-8B-Code", torch_dtype="auto", device_map="auto") |
| tok = AutoTokenizer.from_pretrained("voperl/Qwen3-8B-Code") |
| |
| messages = [ |
| {"role": "system", "content": "Ты — опытный Python-разработчик. Дай готовый код одним python-блоком."}, |
| {"role": "user", "content": "<задача>\n\n/no_think"}, |
| ] |
| inputs = tok.apply_chat_template(messages, return_tensors="pt", add_generation_prompt=True).to(model.device) |
| out = model.generate(inputs, max_new_tokens=2048, temperature=0.0, do_sample=False) |
| print(tok.decode(out[0][inputs.shape[1]:], skip_special_tokens=True)) |
| ``` |
|
|
| ## Ограничения |
|
|
| - RLVR-этап обучал stdin/stdout-задачи; на прочих доменах (tool-calling, |
| многословные код-ревью из SFT) поведение может сместиться — RL проводился |
| в no-think формате. |
| - Награда построена на тестах, а не на корректности рассуждений: модель может |
| находить верные решения, рассуждая неточно. |
| - Задачи с float-выводом: сравнение с допуском 1e-6, не строковое. |
|
|
| ## Воспроизведение |
|
|
| Стек: Unsloth + TRL GRPOTrainer, vLLM для rollout'ов, LoRA r=16 (все 7 проекций), |
| lr 5e-6, beta 0.0, temperature 0.7, num_generations 4–8, max_completion 2048. |
| Харнесс: subprocess-песочница с таймаутом 10 с/кейс, до 10 скрытых кейсов на задачу. |
|
|
| This qwen3 model was trained 2x faster with [Unsloth](https://github.com/unslothai/unsloth) |
|
|
| [<img src="https://raw.githubusercontent.com/unslothai/unsloth/main/images/unsloth%20made%20with%20love.png" width="200"/>](https://github.com/unslothai/unsloth) |
|
|
