wesleysimplicio commited on
Commit
f850419
·
verified ·
1 Parent(s): a0fdb27

docs: sync deploy/DISTRIBUTION_GUIDE.md with updated benchmark numbers

Browse files
Files changed (1) hide show
  1. deploy/DISTRIBUTION_GUIDE.md +125 -0
deploy/DISTRIBUTION_GUIDE.md ADDED
@@ -0,0 +1,125 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ # 🌐 Guia Oficial de Distribuição: Simplicio 27B
2
+ ### Ollama · OpenRouter · OpenCode / Aider / Cursor / Continue.dev
3
+
4
+ Este documento detalha como disponibilizar e consumir o **Simplicio 27B** nas principais plataformas de distribuição de modelos abertos e ferramentas de desenvolvimento agentico.
5
+
6
+ ---
7
+
8
+ ## 1. 🦙 Distribuição no Ollama
9
+
10
+ O Ollama requer que o modelo esteja no formato **GGUF**. Como o modelo é de 27B de parâmetros, a quantização recomendada para rodar em hardware de consumo é **Q4_K_M** (~16.8 GB) ou **Q8_0** (~28.5 GB).
11
+
12
+ ### Passo 1: Converter os pesos para GGUF (via llama.cpp)
13
+ Caso esteja com os pesos do modelo salvos (após merge do LoRA ou download do Hugging Face):
14
+ ```bash
15
+ # 1. Clone o llama.cpp se ainda não tiver
16
+ git clone https://github.com/ggerganov/llama.cpp
17
+ cd llama.cpp && cmake -B build && cmake --build build --config Release -j && cd ..
18
+
19
+ # 2. Converta Hugging Face -> GGUF BF16
20
+ python3 llama.cpp/convert_hf_to_gguf.py ./checkpoint-final --outfile simplicio-27b-bf16.gguf --outtype bf16
21
+
22
+ # 3. Quantize para 4-bit (ideal para Macs com 32GB+ ou GPUs com 24GB VRAM)
23
+ ./llama.cpp/build/bin/llama-quantize simplicio-27b-bf16.gguf simplicio-27b-Q4_K_M.gguf Q4_K_M
24
+ ```
25
+
26
+ ### Passo 2: Criar o modelo no Ollama local
27
+ Com o arquivo `Modelfile` presente na raiz do repositório:
28
+ ```bash
29
+ ollama create wesleysimplicio/simplicio-27b -f Modelfile
30
+ ```
31
+
32
+ ### Passo 3: Publicar na Biblioteca do Ollama (Ollama Registry)
33
+ 1. Crie sua conta em [ollama.com](https://ollama.com) e cadastre sua chave pública SSH (`~/.ollama/id_ed25519.pub`).
34
+ 2. Faça login no terminal:
35
+ ```bash
36
+ ollama login
37
+ ```
38
+ 3. Envie o modelo para a comunidade:
39
+ ```bash
40
+ ollama push wesleysimplicio/simplicio-27b
41
+ ```
42
+ 4. Qualquer desenvolvedor no mundo poderá rodar instantaneamente:
43
+ ```bash
44
+ ollama run wesleysimplicio/simplicio-27b
45
+ ```
46
+
47
+ ---
48
+
49
+ ## 2. ⚡ Distribuição no OpenRouter
50
+
51
+ O OpenRouter não hospeda GPUs próprias; ele funciona como um roteador e agregador inteligente de provedores de inferência em nuvem. Existem dois caminhos práticos para colocar o **Simplicio 27B** no OpenRouter:
52
+
53
+ ### Opção A: Hospedagem via DeepInfra / Chutes / Together (Mais Fácil)
54
+ 1. **DeepInfra** ([deepinfra.com](https://deepinfra.com)):
55
+ - Acesse o painel do DeepInfra e clique em **Deploy Model**.
56
+ - Aponte para o repositório público do Hugging Face: `wesleysimplicio/Simplicio-27B`.
57
+ - O DeepInfra criará um endpoint de alta velocidade compatível com OpenAI API.
58
+ 2. Como o OpenRouter monitora e consome provedores integrados, o modelo pode ser submetido diretamente no formulário de parceria do OpenRouter ou adicionado via **Custom Provider**.
59
+
60
+ ### Opção B: Cadastrar seu próprio Endpoint como Provedor (BYO Endpoint)
61
+ Se você hospedar o Simplicio 27B em uma instância com GPU (ex: RunPod, Lambda Labs, Scaleway ou servidor próprio com vLLM):
62
+ 1. Inicie o servidor vLLM:
63
+ ```bash
64
+ ./deploy/serve_vllm.sh wesleysimplicio/Simplicio-27B 8000
65
+ ```
66
+ 2. Exponha o endpoint via HTTPS (usando Cloudflare Tunnel, Caddy ou Nginx).
67
+ 3. Acesse **[openrouter.ai/provider](https://openrouter.ai/provider)**:
68
+ - Cadastre seu endpoint OpenAI-compatible: `https://seu-dominio.com/v1`
69
+ - O OpenRouter validará a latência e o throughput e listará o modelo como `wesleysimplicio/simplicio-27b`.
70
+ - Usuários do OpenRouter poderão chamá-lo via API global e você recebe créditos/pagamentos por milhão de tokens gerados.
71
+
72
+ ---
73
+
74
+ ## 3. 💻 Integração com OpenCode, Aider, Continue e Cursor
75
+
76
+ O Simplicio 27B foi desenhado para agir como motor cirúrgico de código (SEARCH/REPLACE) e execuções agenticas. Veja como conectá-lo às ferramentas:
77
+
78
+ ### A. Aider (CLI Agent - 96.5% de Precisão Cirúrgica)
79
+ O Aider é a principal ferramenta de pair programming via terminal.
80
+ ```bash
81
+ # Via Ollama local:
82
+ aider --model ollama/wesleysimplicio/simplicio-27b --edit-format diff
83
+
84
+ # Via vLLM local ou OpenRouter:
85
+ aider --openai-api-base http://localhost:8000/v1 \
86
+ --openai-api-key none \
87
+ --model openai/simplicio-27b \
88
+ --edit-format diff
89
+ ```
90
+
91
+ ### B. OpenCode / Open Interpreter
92
+ Para executar código em terminal com autonomia:
93
+ ```bash
94
+ # Via Ollama:
95
+ interpreter --model ollama/wesleysimplicio/simplicio-27b
96
+
97
+ # Via OpenAI-compatible endpoint:
98
+ interpreter --api_base http://localhost:8000/v1 --model simplicio-27b
99
+ ```
100
+
101
+ ### C. Continue.dev (Extensão VS Code / JetBrains)
102
+ Adicione em `~/.continue/config.json`:
103
+ ```json
104
+ {
105
+ "models": [
106
+ {
107
+ "title": "Simplicio 27B (Ollama)",
108
+ "provider": "ollama",
109
+ "model": "wesleysimplicio/simplicio-27b"
110
+ },
111
+ {
112
+ "title": "Simplicio 27B (vLLM / OpenRouter)",
113
+ "provider": "openai",
114
+ "model": "simplicio-27b",
115
+ "apiBase": "http://localhost:8000/v1",
116
+ "apiKey": "none"
117
+ }
118
+ ]
119
+ }
120
+ ```
121
+
122
+ ### D. Cursor / Windsurf / Cline
123
+ 1. Vá em **Settings ➔ Models** (ou Custom OpenAI API).
124
+ 2. Insira a Base URL: `http://localhost:8000/v1` (ou a URL do OpenRouter).
125
+ 3. Insira o nome do modelo: `simplicio-27b` ou `wesleysimplicio/simplicio-27b`.