gonrocca commited on
Commit
a514b85
·
verified ·
1 Parent(s): c1d57b6

Upload README.md with huggingface_hub

Browse files
Files changed (1) hide show
  1. README.md +218 -0
README.md ADDED
@@ -0,0 +1,218 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ ---
2
+ license: apache-2.0
3
+ language:
4
+ - es
5
+ - en
6
+ library_name: gguf
7
+ tags:
8
+ - mate
9
+ - code
10
+ - tool-calling
11
+ - reasoning
12
+ - argentina
13
+ - gemma-4
14
+ - moe
15
+ - quantized
16
+ - q4_k_m
17
+ base_model: google/gemma-4-26B-A4B-it
18
+ pipeline_tag: text-generation
19
+ ---
20
+
21
+ # Mate
22
+
23
+ > Una AI que vive en tu máquina.
24
+ > Por [Gonzalo Rocca](https://gonzalorocca.com.ar) — 2026 — San Luis, Argentina
25
+
26
+ 🔗 **Web**: [mate.ceroclawd.com](https://mate.ceroclawd.com)
27
+ 🔗 **Autor**: [gonzalorocca.com.ar](https://gonzalorocca.com.ar)
28
+
29
+ ---
30
+
31
+ ## Por qué existe
32
+
33
+ Hace más de 10 años escribo software para sistemas que no se pueden caer. Lugares donde un error a las 3 AM cuesta caro y no avisa.
34
+
35
+ Hoy la AI es parte del trabajo diario. Pero algo me hacía ruido — cada prompt viajaba a un servidor remoto, cada mes una factura distinta, cada release de un proveedor cambiaba el comportamiento del modelo. **No era mío. Era prestado.**
36
+
37
+ Quería algo que estuviera ahí cuando lo necesitara. Sin servidores, sin claves de API, sin paywalls. Algo entrenado a mi gusto, con mi forma de razonar, que no me hablara como vendedor.
38
+
39
+ Lo armé entre noches y fines de semana. Cata tiene 6 y arma mundos enteros en el living antes de cenar. Olivia tiene un mes y medio y casi no pesa. Eso es lo principal. Mate lo armé en los ratos que sobran — noches, fines de semana, lo que viene después de ellas.
40
+
41
+ El nombre vino último. Buscaba algo que sonara a compañía silenciosa. A algo que está, sin pedirte permiso.
42
+
43
+ **Mate.**
44
+
45
+ ---
46
+
47
+ ## Qué hace
48
+
49
+ - 🛠️ **Tool calling preciso** — decide cuándo invocar funciones, genera JSON parseable, encadena resultados multi-turn (compatible OpenAI function-calling spec)
50
+ - 💻 **Código limpio** — Python, JavaScript, TypeScript, Go, Rust. Refactor, debug, generación
51
+ - 🧠 **Razona antes de actuar** — bloques `<think>...</think>` para evaluar qué tool conviene y qué edge cases tiene
52
+ - 🌎 **Bilingüe** — español argentino + inglés
53
+ - 🏠 **100% local** — corre en tu GPU, sin telemetría, sin internet, sin API keys
54
+
55
+ ---
56
+
57
+ ## Specs técnicas
58
+
59
+ | | |
60
+ |---|---|
61
+ | **Base model** | Gemma 4 26B-A4B-it (MoE 27B / 4B activos) |
62
+ | **Cuantización** | GGUF Q4_K_M (5.32 BPW) |
63
+ | **Tamaño en disco** | ~15.6 GB |
64
+ | **VRAM mínima** | 16 GB (RTX 3090 24 GB cómodo) |
65
+ | **Velocidad inference** | ~50-60 tok/s en RTX 3090 |
66
+ | **Context window** | 8192 tokens default (configurable hasta 256K) |
67
+ | **Training method** | QLoRA 4-bit + Unsloth |
68
+ | **Training hardware** | NVIDIA H100 80GB (RunPod) |
69
+ | **Training dataset** | ~10k ejemplos curados |
70
+
71
+ ### Mix de training
72
+
73
+ | Bucket | % | Fuente |
74
+ |---|---|---|
75
+ | Tool calling single-turn | 40% | `Salesforce/xlam-function-calling-60k` |
76
+ | Tool calling multi-turn | 15% | `glaiveai/glaive-function-calling-v2` |
77
+ | Reasoning + code (Claude Opus synthetic) | 18% | `angrygiraffe/claude-opus-4.6-4.7-reasoning-8.7k` |
78
+ | Code generation | 10% | `m-a-p/CodeFeedback-Filtered-Instruction` |
79
+ | Negativos (no-tool) | 8% | curado del CodeFeedback |
80
+ | Identidad Mate | 7% | manual (autor) |
81
+
82
+ ---
83
+
84
+ ## Archivos en este repo
85
+
86
+ | Archivo | Tamaño | Para qué |
87
+ |---|---|---|
88
+ | `mate-Q4_K_M.gguf` | ~15.6 GB | Modelo cuantizado para inference (Ollama, llama.cpp, LM Studio) |
89
+ | `lora/` | ~3.8 GB | LoRA adapter original — para re-trains futuros (continue training, especializaciones) |
90
+
91
+ ---
92
+
93
+ ## Cómo usarlo
94
+
95
+ ### Con Ollama (recomendado)
96
+
97
+ ```bash
98
+ # 1. Descargar el GGUF
99
+ hf download gonrocca/mate-v1 mate-Q4_K_M.gguf --local-dir ./mate-model
100
+
101
+ # 2. Crear Modelfile
102
+ cat > ./mate-model/Modelfile <<'EOF'
103
+ FROM ./mate-Q4_K_M.gguf
104
+
105
+ TEMPLATE """{{- range $i, $_ := .Messages }}
106
+ {{- if eq .Role "system" }}<|turn>system
107
+ {{ .Content }}<turn|>
108
+ {{ else if eq .Role "user" }}<|turn>user
109
+ {{ .Content }}<turn|>
110
+ {{ else if eq .Role "assistant" }}<|turn>model
111
+ {{ .Content }}<turn|>
112
+ {{ end }}
113
+ {{- end }}{{- if .Messages }}<|turn>model
114
+ {{ end }}"""
115
+
116
+ PARAMETER stop "<turn|>"
117
+ PARAMETER stop "<|turn>"
118
+ PARAMETER temperature 0.3
119
+ PARAMETER top_p 0.9
120
+ PARAMETER num_ctx 8192
121
+ PARAMETER num_gpu 999
122
+
123
+ SYSTEM """You are Mate, an open-source AI coding assistant created by Gonzalo Rocca (gonzalorocca.com.ar). You write clean, efficient code, explain your reasoning step by step, and call functions when needed."""
124
+ EOF
125
+
126
+ # 3. Registrar y correr
127
+ cd ./mate-model
128
+ ollama create mate -f Modelfile
129
+ ollama run mate
130
+ ```
131
+
132
+ ### Con llama.cpp directo
133
+
134
+ ```bash
135
+ # Server compatible OpenAI API
136
+ llama-server -m mate-Q4_K_M.gguf --n-gpu-layers 99 -c 8192 --port 8080
137
+
138
+ # CLI interactivo
139
+ llama-cli -m mate-Q4_K_M.gguf --n-gpu-layers 99 -c 8192
140
+ ```
141
+
142
+ ### Con LM Studio
143
+
144
+ Drag & drop `mate-Q4_K_M.gguf` al folder `~/.cache/lm-studio/models/Mate/` y aparece en la GUI.
145
+
146
+ ---
147
+
148
+ ## Ejemplos
149
+
150
+ ### Identidad
151
+
152
+ ```
153
+ > ¿Quién sos?
154
+ Soy Mate, una IA open-source creada por Gonzalo Rocca (gonzalorocca.com.ar).
155
+ Estoy especializada en programación y uso de herramientas. Decime qué tools
156
+ tenés disponibles y trabajamos.
157
+ ```
158
+
159
+ ### Tool calling
160
+
161
+ ```
162
+ [System: Tools disponibles: read_file(path), run_bash(cmd), search_web(q)]
163
+ > Listame los archivos del proyecto y mostrame el package.json
164
+ Mate: <tool_call>{"name":"run_bash","arguments":{"cmd":"ls -la"}}</tool_call>
165
+ [Tool result: ...]
166
+ Mate: <tool_call>{"name":"read_file","arguments":{"path":"package.json"}}</tool_call>
167
+ ```
168
+
169
+ ### Conceptual (sin tools)
170
+
171
+ ```
172
+ > ¿Cuál es la diferencia entre let y const en JavaScript?
173
+ let permite reasignación, const no — pero ambos son block-scoped...
174
+ ```
175
+
176
+ ---
177
+
178
+ ## Re-entrenar / continuar training
179
+
180
+ El LoRA adapter (`lora/`) en este repo te permite continuar el training de Mate
181
+ sin partir desde cero. Tres caminos:
182
+
183
+ 1. **Continue training** (más datos, mejor identidad)
184
+ 2. **Especialización** (LoRA on top of LoRA — Mate-Cook, Mate-Finance, etc.)
185
+ 3. **Reset completo** (otro modelo base)
186
+
187
+ Ver `RETRAINING.md` en el repo del proyecto para detalles.
188
+
189
+ ---
190
+
191
+ ## Licencia y atribuciones
192
+
193
+ **Mate** se distribuye bajo **Apache License 2.0**.
194
+
195
+ Este modelo es un fine-tune de **Gemma 4 26B-A4B-it** (Copyright © 2026 Google LLC,
196
+ Apache 2.0). Ver [LICENSE Gemma](https://ai.google.dev/gemma/docs/gemma_4_license).
197
+
198
+ Datasets utilizados:
199
+ - `Salesforce/xlam-function-calling-60k` (CC BY 4.0)
200
+ - `glaiveai/glaive-function-calling-v2` (Apache 2.0)
201
+ - `angrygiraffe/claude-opus-4.6-4.7-reasoning-8.7k` (Apache 2.0)
202
+ - `m-a-p/CodeFeedback-Filtered-Instruction` (Apache 2.0)
203
+
204
+ ---
205
+
206
+ ## Contacto
207
+
208
+ [**Gonzalo Rocca**](https://gonzalorocca.com.ar)
209
+
210
+ - 🌐 Web Mate: [mate.ceroclawd.com](https://mate.ceroclawd.com)
211
+ - 🌐 Personal: [gonzalorocca.com.ar](https://gonzalorocca.com.ar)
212
+ - 📧 Email: gonzalonicolas.dev@gmail.com
213
+ - 💼 LinkedIn: [in/gonnicolas](https://www.linkedin.com/in/gonnicolas)
214
+ - 🐙 GitHub: [@gonzalonicolasr](https://github.com/gonzalonicolasr)
215
+
216
+ ---
217
+
218
+ *Mate es una IA. No reemplaza a nadie. Te acompaña mientras laburás. Como un mate al lado de la pantalla — cebado, listo, sin protagonismo.*