README.md

metadata

title: Omni-Nexus Worker A
emoji: 💬
colorFrom: indigo
colorTo: purple
sdk: docker
app_port: 7860
pinned: false

Omni-Nexus · Worker de chat

Llama 3.2 3B (Q4_K_M) servido con API compatible con OpenAI.

Usa los binarios oficiales precompilados de llama.cpp: build de 3-5 min, sin compilar C++.

Por qué ya no se usa BitNet

bitnet.cpp no incluye servidor HTTP — su submódulo solo compila llama-cli. El target llama-server no existe. Y setup_env.py agota la RAM del builder de HF al convertir el modelo. No es parcheable.

Uso

Odysseus → Settings → Add Local Models (Endpoint):

https://TU-USUARIO-ESTE-SPACE.hf.space/v1

Variables

Variable	Valor
WORKER_ID	A
CHAT_TEMPLATE	llama3