ModernoTech commited on
Commit
76926d2
·
verified ·
1 Parent(s): fb276df

Nova Prime: replace README with complete approved product documentation and source attribution

Browse files
Files changed (1) hide show
  1. README.md +310 -47
README.md CHANGED
@@ -1,67 +1,330 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
  ---
2
- language:
3
- - es
4
- - en
5
- pretty_name: Nova Prime — Moderno Tech
6
- model_name: Nova Prime
7
- model_creator: Moderno Tech
8
- tags:
9
- - moderno-tech
10
- - nova
11
- - nova-prime
12
- - text-generation
13
- license: apache-2.0
14
- inference: false
15
- ---
16
 
17
- ![Banner de Nova Prime](images/nova-prime-banner.jpg)
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
18
 
19
- <div align="center">
20
- <img alt="Moderno Tech" src="images/moderno-tech-logo.png" width="84"/>
21
- </div>
 
 
 
 
 
 
 
 
22
 
23
- # Nova Prime
24
 
25
- **Moderno Tech — Nova**
 
 
 
 
 
 
 
 
26
 
27
- Nova Prime publica los pesos originales del modelo Qwen3.6-35B-A3B bajo la identidad comercial de Moderno Tech. Su posicionamiento es capacidad y razonamiento; la licencia y la procedencia heredada se mantienen.
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
28
 
29
  Sitio oficial: https://moderno.com.ar
30
 
31
- ## Arquitectura verificada
 
 
 
 
32
 
33
- - Arquitectura: Qwen3_5MoeForConditionalGeneration
34
- - Tipo: MoE condicional con encoder visual y modelo de lenguaje.
35
- - Parámetros totales: 35B
36
- - Parámetros activos por token: 3B
37
- - Capas del modelo de lenguaje: 40
38
- - Atención: 16 cabezas Q y 2 cabezas KV
39
- - Head dimension: 256
40
- - Expertos routed: 256
41
- - Expertos activos por token: 8
42
- - Vocabulario: 248320 tokens
43
- - Contexto declarado: hasta 262144 tokens
44
- - Tipo original: bfloat16
45
 
46
- ## Artefacto y formato
47
 
48
- - 26 shards Safetensors BF16.
49
- - Tamaño total informado por el Hub: 71,903,645,408 bytes.
50
- - Archivo de índice de pesos: model.safetensors.index.json.
51
- - Los tensores no se modificaron durante la publicación.
52
 
53
- ## Compatibilidad
54
 
55
- La carga real debe realizarse con versiones compatibles de Transformers y backends que soporten la arquitectura correspondiente. La compatibilidad exacta depende de la configuración, el hardware y la versión del runtime.
 
 
 
56
 
57
- ## Licencia
58
 
59
- La licencia heredada documentada es Apache License 2.0. Los avisos, atribuciones y condiciones originales deben conservarse.
60
 
61
- ## Rendimiento
62
 
63
- No hay mediciones reales publicadas. No se afirman benchmarks ni throughput no verificado. Cualquier prueba real debe registrar runtime, backend, contexto, prompt, salida, memoria máxima y fecha.
64
 
65
- ## Uso recomendado
66
 
67
- Escenarios documentales y de evaluación de modelos de mayor capacidad que requieran auditoría de memoria, compatibilidad y licencia antes de considerarse productivos.
 
1
+ # NOVA PRIME
2
+ ### Capacidad y razonamiento
3
+
4
+ **Una nueva dimensión de inteligencia bajo Moderno Tech.**
5
+
6
+ Nova Prime es un modelo de lenguaje de arquitectura Mixture of Experts (MoE), diseñado para tareas avanzadas de comprensión, razonamiento, programación, análisis y procesamiento multimodal.
7
+
8
+ Forma parte de la familia **Nova AI**, el ecosistema de inteligencia artificial desarrollado y distribuido bajo la identidad de **Moderno Tech**.
9
+
10
+ - Organización: Moderno Tech
11
+ - Familia: Nova AI
12
+ - Modelo: Nova Prime
13
+ - Versión de distribución: 2.0
14
+ - Arquitectura: Mixture of Experts (MoE)
15
+ - Modalidades: texto, imagen y video
16
+ - Parámetros totales: 35 mil millones
17
+ - Parámetros activos: aproximadamente 3 mil millones
18
+ - Contexto nativo: 262.144 tokens
19
+
20
+ Sitio oficial: https://moderno.com.ar
21
+
22
  ---
 
 
 
 
 
 
 
 
 
 
 
 
 
 
23
 
24
+ ## 1. Visión general
25
+
26
+ Nova Prime está orientado a ofrecer capacidades avanzadas de inteligencia artificial mediante una arquitectura especializada que activa selectivamente sus expertos durante la inferencia.
27
+
28
+ Su diseño combina:
29
+
30
+ - Razonamiento avanzado.
31
+ - Comprensión de instrucciones complejas.
32
+ - Programación y desarrollo de software.
33
+ - Análisis de documentos.
34
+ - Procesamiento de imágenes.
35
+ - Comprensión de video.
36
+ - Interacción con herramientas y agentes.
37
+ - Manejo de contextos extensos.
38
+ - Resolución de problemas matemáticos y científicos.
39
+
40
+ Su arquitectura MoE permite seleccionar una parte de los expertos disponibles para cada token, en lugar de activar todos los expertos simultáneamente.
41
+
42
+ Esto no significa que el modelo ocupe solamente la memoria correspondiente a sus parámetros activos: los pesos completos, los componentes compartidos, la caché KV y los buffers también requieren memoria.
43
+
44
+ ## 2. Arquitectura del modelo
45
+
46
+ | Característica | Especificación |
47
+ |---|---|
48
+ | Arquitectura | Causal Language Model con Vision Encoder |
49
+ | Diseño | Mixture of Experts |
50
+ | Parámetros totales | 35B |
51
+ | Parámetros activos | 3B |
52
+ | Dimensión oculta | 2048 |
53
+ | Embeddings | 248.320 |
54
+ | Capas | 40 |
55
+ | Expertos totales | 256 |
56
+ | Expertos activados | 8 routed + 1 shared |
57
+ | Dimensión intermedia de expertos | 512 |
58
+ | Predicción multietapa | Multi-Token Prediction |
59
+ | Contexto nativo | 262.144 tokens |
60
+ | Contexto extendido | Hasta 1.010.000 tokens mediante configuración compatible |
61
+
62
+ ### Estructura interna
63
+
64
+ La arquitectura combina dos mecanismos de procesamiento:
65
+
66
+ - Gated DeltaNet.
67
+ - Gated Attention.
68
+
69
+ Distribución de bloques:
70
+
71
+ 10 × (3 × (Gated DeltaNet → MoE) + 1 × (Gated Attention → MoE))
72
+
73
+ **Gated DeltaNet**
74
+ - 32 cabezas lineales para V.
75
+ - 16 cabezas para QK.
76
+ - Dimensión de cabeza: 128.
77
+
78
+ **Gated Attention**
79
+ - 16 cabezas Q.
80
+ - 2 cabezas KV.
81
+ - Dimensión de cabeza: 256.
82
+ - Dimensión RoPE: 64.
83
+
84
+ **Mixture of Experts**
85
+ - 256 expertos disponibles.
86
+ - 8 expertos routed por token.
87
+ - 1 experto compartido.
88
+ - Dimensión intermedia: 512.
89
+
90
+ La arquitectura también incorpora entrenamiento con Multi-Token Prediction (MTP).
91
+
92
+ ## 3. Capacidades principales
93
+
94
+ ### Razonamiento y análisis
95
+
96
+ Nova Prime está diseñado para abordar problemas complejos, análisis estructurados, comprensión contextual y tareas que requieren múltiples etapas de procesamiento.
97
+
98
+ ### Programación
99
+
100
+ Capacidades documentadas en el modelo de referencia:
101
+
102
+ - Desarrollo de aplicaciones.
103
+ - Comprensión de repositorios.
104
+ - Generación y modificación de código.
105
+ - Resolución de problemas de programación.
106
+ - Flujos de trabajo de desarrollo asistidos por agentes.
107
+ - Uso de herramientas de terminal y edición de archivos.
108
+
109
+ ### Inteligencia multimodal
110
+
111
+ La arquitectura incorpora un codificador visual y admite:
112
+
113
+ - Comprensión de imágenes.
114
+ - Reconocimiento de texto en imágenes.
115
+ - Análisis de documentos.
116
+ - Comprensión de contenido visual.
117
+ - Procesamiento de video mediante frameworks compatibles.
118
+
119
+ ### Agentes y herramientas
120
+
121
+ El modelo admite escenarios de uso con herramientas, llamadas a funciones y sistemas de agentes.
122
+
123
+ La integración concreta depende del framework de inferencia y de la implementación del sistema de herramientas.
124
+
125
+ ## 4. Contexto extendido
126
+
127
+ Nova Prime dispone de una longitud de contexto nativa de 262.144 tokens.
128
+
129
+ Con configuraciones compatibles de escalado RoPE mediante YaRN, puede extenderse hasta 1.010.000 tokens.
130
+
131
+ La extensión requiere configuración específica del framework. No debe considerarse una capacidad automáticamente habilitada en cualquier implementación.
132
+
133
+ Para preservar las capacidades de razonamiento en tareas extensas, la documentación de referencia recomienda mantener al menos 128K tokens cuando los recursos disponibles lo permitan.
134
+
135
+ ## 5. Evaluaciones y benchmarks
136
+
137
+ Los siguientes resultados corresponden a las evaluaciones publicadas por los desarrolladores del checkpoint de referencia. No son benchmarks realizados por Moderno Tech ni resultados de una evaluación independiente de Nova Prime.
138
+
139
+ ### Coding Agent
140
 
141
+ | Benchmark | Resultado publicado |
142
+ |---|---:|
143
+ | SWE-bench Verified | 73.4 |
144
+ | SWE-bench Multilingual | 67.2 |
145
+ | SWE-bench Pro | 49.5 |
146
+ | Terminal-Bench 2.0 | 51.5 |
147
+ | Claw-Eval Avg | 68.7 |
148
+ | SkillsBench Avg | 28.7 |
149
+ | QwenClawBench | 52.6 |
150
+ | NL2Repo | 29.4 |
151
+ | QwenWebBench | 1397 |
152
 
153
+ ### General Agent
154
 
155
+ | Benchmark | Resultado publicado |
156
+ |---|---:|
157
+ | TAU3-Bench | 67.2 |
158
+ | VITA-Bench | 35.6 |
159
+ | DeepPlanning | 25.9 |
160
+ | Tool Decathlon | 26.9 |
161
+ | MCPMark | 37.0 |
162
+ | MCP-Atlas | 62.8 |
163
+ | WideSearch | 60.1 |
164
 
165
+ ### Conocimiento y razonamiento
166
+
167
+ | Benchmark | Resultado publicado |
168
+ |---|---:|
169
+ | MMLU-Pro | 85.2 |
170
+ | MMLU-Redux | 93.3 |
171
+ | SuperGPQA | 64.7 |
172
+ | C-Eval | 90.0 |
173
+ | GPQA | 86.0 |
174
+ | HLE | 21.4 |
175
+ | LiveCodeBench v6 | 80.4 |
176
+ | AIME26 | 92.7 |
177
+
178
+ ### Visión y comprensión multimodal
179
+
180
+ | Benchmark | Resultado publicado |
181
+ |---|---:|
182
+ | MMMU | 81.7 |
183
+ | MMMU-Pro | 75.3 |
184
+ | MathVista Mini | 86.4 |
185
+ | RealWorldQA | 85.3 |
186
+ | MMBench EN | 92.8 |
187
+ | SimpleVQA | 58.9 |
188
+ | HallusionBench | 69.8 |
189
+ | OmniDocBench 1.5 | 89.9 |
190
+ | CC-OCR | 81.9 |
191
+ | VideoMMMU | 83.7 |
192
+
193
+ Los resultados dependen del protocolo, el entorno, los parámetros de generación y las herramientas utilizadas. Consultar la documentación de evaluación del modelo de referencia para conocer las condiciones específicas.
194
+
195
+ ## 6. Uso e inferencia
196
+
197
+ Nova Prime utiliza el formato de modelos compatible con Hugging Face Transformers.
198
+
199
+ La compatibilidad con otros motores depende de sus versiones y del soporte de la arquitectura.
200
+
201
+ Frameworks documentados para el checkpoint de referencia:
202
+
203
+ - Hugging Face Transformers.
204
+ - vLLM.
205
+ - SGLang.
206
+ - KTransformers.
207
+
208
+ Para despliegues de alto rendimiento, los requisitos de hardware y memoria deben evaluarse antes de seleccionar el motor.
209
+
210
+ ### Parámetros de generación
211
+
212
+ **Razonamiento general**
213
+
214
+ - Temperature: 1.0
215
+ - Top P: 0.95
216
+ - Top K: 20
217
+ - Min P: 0.0
218
+ - Presence Penalty: 1.5
219
+ - Repetition Penalty: 1.0
220
+
221
+ **Programación precisa**
222
+
223
+ - Temperature: 0.6
224
+ - Top P: 0.95
225
+ - Top K: 20
226
+ - Min P: 0.0
227
+ - Presence Penalty: 0.0
228
+ - Repetition Penalty: 1.0
229
+
230
+ **Modo directo / Instruct**
231
+
232
+ - Temperature: 0.7
233
+ - Top P: 0.80
234
+ - Top K: 20
235
+ - Min P: 0.0
236
+ - Presence Penalty: 1.5
237
+ - Repetition Penalty: 1.0
238
+
239
+ Los parámetros disponibles pueden variar según el framework.
240
+
241
+ ## 7. Modo de razonamiento
242
+
243
+ Nova Prime opera con razonamiento habilitado por defecto en la configuración de referencia.
244
+
245
+ El modelo puede generar bloques de razonamiento identificados mediante las etiquetas internas correspondientes.
246
+
247
+ Para obtener respuestas directas sin activar el modo de razonamiento, los frameworks compatibles permiten deshabilitarlo mediante sus parámetros de plantilla de chat.
248
+
249
+ La configuración de preservación de razonamiento histórico también puede utilizarse para conservar el contexto de razonamiento entre mensajes en escenarios de agentes.
250
+
251
+ Estas funciones dependen del soporte de la implementación utilizada.
252
+
253
+ ## 8. Procesamiento multimodal
254
+
255
+ ### Entrada de imágenes
256
+
257
+ El modelo puede recibir imágenes junto con instrucciones de texto mediante una API compatible con su arquitectura multimodal.
258
+
259
+ ### Entrada de video
260
+
261
+ La comprensión de video está disponible mediante frameworks compatibles que implementen el procesamiento de fotogramas y la preparación de datos multimodales.
262
+
263
+ La frecuencia de muestreo y la cantidad de fotogramas afectan el consumo de recursos.
264
+
265
+ ### Documentos
266
+
267
+ El modelo incluye capacidades de comprensión visual y reconocimiento de texto, útiles para analizar documentos, imágenes y contenido estructurado.
268
+
269
+ ## 9. Uso con agentes
270
+
271
+ Nova Prime está preparado para integrarse en flujos de trabajo con agentes y herramientas externas.
272
+
273
+ Los posibles escenarios incluyen:
274
+
275
+ - Agentes de programación.
276
+ - Automatización de tareas.
277
+ - Análisis de repositorios.
278
+ - Interacción con sistemas de archivos.
279
+ - Herramientas MCP.
280
+ - Ejecución de flujos de trabajo.
281
+ - Asistencia técnica y desarrollo de software.
282
+
283
+ Las herramientas deben ser configuradas y autorizadas por la aplicación que ejecuta el modelo. El modelo no obtiene acceso automático al sistema operativo ni a los archivos del usuario.
284
+
285
+ ## 10. Integración con el ecosistema Moderno Tech
286
+
287
+ Nova Prime forma parte de la familia Nova AI.
288
+
289
+ Su integración futura puede contemplar:
290
+
291
+ - Nova Home: interacción y asistencia inteligente.
292
+ - Nova Creative: generación y creación multimedia.
293
+ - Moderno OS: ejecución de modelos y agentes.
294
+ - Moderno Neural Engine: inferencia local y gestión de modelos MoE.
295
+ - Moderno Model Factory: entrenamiento, ajuste, evaluación y conversión de modelos.
296
+
297
+ Estas integraciones requieren sus respectivas implementaciones. Su mención en este documento no implica que todas estén habilitadas dentro del repositorio actual.
298
 
299
  Sitio oficial: https://moderno.com.ar
300
 
301
+ ## 11. Licencia, procedencia y atribución
302
+
303
+ **Importante:** esta distribución utiliza como base un checkpoint preentrenado de terceros.
304
+
305
+ La identidad de producto, presentación y distribución corresponde a Moderno Tech, pero los pesos originales no deben presentarse como entrenados desde cero por Moderno Tech.
306
 
307
+ Se deben conservar la licencia original, los avisos de copyright, la atribución y los términos de uso aplicables al repositorio de origen.
 
 
 
 
 
 
 
 
 
 
 
308
 
309
+ Consultar el archivo `LICENSE` y los avisos legales incluidos en este repositorio antes de utilizar o redistribuir el modelo.
310
 
311
+ La documentación técnica y los resultados publicados por los desarrolladores originales deben atribuirse a sus respectivas fuentes.
 
 
 
312
 
313
+ ## 12. Referencias técnicas
314
 
315
+ - Documentación del checkpoint de referencia: Qwen3.6-35B-A3B.
316
+ - Arquitectura y especificaciones técnicas: documentación original del modelo.
317
+ - Frameworks de inferencia: Transformers, vLLM, SGLang y KTransformers.
318
+ - Referencias de evaluación: documentación y resultados publicados por los desarrolladores del checkpoint.
319
 
320
+ ## 13. Identidad
321
 
322
+ **NOVA AI**
323
 
324
+ Desarrollado y distribuido bajo la identidad de:
325
 
326
+ **MODERNO TECH**
327
 
328
+ https://moderno.com.ar
329
 
330
+ *Inteligencia que evoluciona. Tecnología que transforma.*