fwizzer1 commited on
Commit
8e9b88f
·
verified ·
1 Parent(s): 8937665

Add universal platform integration guides to README

Browse files
Files changed (1) hide show
  1. README.md +71 -0
README.md CHANGED
@@ -153,3 +153,74 @@ print(tokenizer.decode(outputs[0], skip_special_tokens=True))
153
  <div align="center">
154
  <sub>Создано и обучено с любовью исследовательской командой <b>Fwizzer AI</b>. 2026.</sub>
155
  </div>
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
153
  <div align="center">
154
  <sub>Создано и обучено с любовью исследовательской командой <b>Fwizzer AI</b>. 2026.</sub>
155
  </div>
156
+
157
+
158
+ ---
159
+
160
+ ## 🌐 Универсальная интеграция во все платформы и приложения
161
+
162
+ Благодаря встроенному системному промпту и автоматическому форматированию рассуждений `<think>...</think>`, модель работает из коробки во всех поддерживаемых экосистемах:
163
+
164
+ ### 1. 📓 Google Colab & Kaggle Notebooks
165
+ [Google Colab](https://huggingface.co/fwizzer1/Fwizzer-R1-3B-v2/colab) | [Kaggle](https://huggingface.co/fwizzer1/Fwizzer-R1-3B-v2/kaggle)
166
+ ```python
167
+ from unsloth import FastLanguageModel
168
+
169
+ model, tokenizer = FastLanguageModel.from_pretrained(
170
+ model_name = "fwizzer1/Fwizzer-R1-3B-v2",
171
+ max_seq_length = 4096,
172
+ load_in_4bit = True,
173
+ )
174
+ FastLanguageModel.for_inference(model)
175
+
176
+ prompt = [{"role": "user", "content": "Объясни парадокс Ферми простыми словами."}]
177
+ inputs = tokenizer.apply_chat_template(prompt, tokenize=True, add_generation_prompt=True, return_tensors="pt").to("cuda")
178
+ output = model.generate(input_ids=inputs, max_new_tokens=1024, temperature=0.6)
179
+ print(tokenizer.decode(output[0]))
180
+ ```
181
+
182
+ ### 2. 🦙 llama.cpp & llama-server
183
+ Запуск интерактивного чата или совместимого API сервера:
184
+ ```bash
185
+ ./llama-server -m ru/Fwizzer-R1-3B-v2Balanced.gguf --jinja -c 8192 --port 8080
186
+ ```
187
+
188
+ ### 3. 🖥️ LM Studio
189
+ Импортируйте любой из квантов `Fwizzer-R1-3B-v2Speed.gguf`, `Balanced` или `Max`. Файл `Fwizzer-R1.preset.json` подтягивается автоматически. Блоки мыслей автоматически сворачиваются в интерфейсе.
190
+
191
+ ### 4. 📱 Jan AI Desktop
192
+ Поместите файл `Fwizzer-R1-3B-v2Balanced.gguf` и прикрепленный `jan-model.json` в папку `~/jan/models/fwizzer-r1-3b-v2`. Запустите приложение Jan для локального чата без интернета.
193
+
194
+ ### 5. 🚀 vLLM (Production Server)
195
+ ```bash
196
+ vllm serve fwizzer1/Fwizzer-R1-3B-v2 --port 8000 --max-model-len 8192 --trust-remote-code
197
+ ```
198
+
199
+ ### 6. 🦙 Ollama
200
+ ```bash
201
+ ollama create fwizzer-r1-3b-v2 -f ./Modelfile
202
+ ollama run fwizzer-r1-3b-v2
203
+ ```
204
+
205
+ ### 7. 🦥 Unsloth Desktop
206
+ Используйте встроенный интерфейс Unsloth Desktop для локального тестирования или дообучения под ваши собственные документы.
207
+
208
+ ### 8. 🥧 Raspberry Pi 4/5 & Termux (Android)
209
+ Благодаря эффективному Q4_K_M квантованию модель запускается даже на микрокомпьютерах с 4 ГБ ОЗУ:
210
+ ```bash
211
+ ./llama-cli -m ru/Fwizzer-R1-3B-v2Speed.gguf -t 4 -c 4096 --temp 0.6 -p "[INST] Кто ты? [/INST]"
212
+ ```
213
+
214
+ ### 9. 🐳 Docker Model Runner
215
+ ```bash
216
+ docker run --gpus all -d -p 8080:8080 -v $(pwd):/models ghcr.io/ggerganov/llama.cpp:server -m /models/ru/Fwizzer-R1-3B-v2Balanced.gguf --jinja -c 8192 --port 8080
217
+ ```
218
+
219
+ ### 10. 🍋 Lemonade & 💬 Atomic Chat
220
+ Подключите локальный эндпоинт `http://localhost:8080/v1` с системным промптом Fwizzer-R1 и температурой `0.6`.
221
+
222
+ ### 11. 🤖 Hermes Agent & 🐾 OpenClaw
223
+ Автономные агентные среды используют встроенный пошаговый Chain-of-Thought для планирования сложных вызовов инструментов и кода:
224
+ ```bash
225
+ hermes chat --model fwizzer1/Fwizzer-R1-3B-v2 --api-base http://localhost:8080/v1
226
+ ```