Instructions to use shebxyd/aura-1b-edge with libraries, inference providers, notebooks, and local apps. Follow these links to get started.
- Notebooks
- Google Colab
- Kaggle
- Local Apps Settings
- llama.cpp
How to use shebxyd/aura-1b-edge with llama.cpp:
Install (macOS, Linux)
curl -LsSf https://llama.app/install.sh | sh # Start a local OpenAI-compatible server with a web UI: llama serve -hf shebxyd/aura-1b-edge:Q4_K_M # Run inference directly in the terminal: llama cli -hf shebxyd/aura-1b-edge:Q4_K_M
Install from WinGet (Windows)
winget install llama.cpp # Start a local OpenAI-compatible server with a web UI: llama serve -hf shebxyd/aura-1b-edge:Q4_K_M # Run inference directly in the terminal: llama cli -hf shebxyd/aura-1b-edge:Q4_K_M
Build from source code
git clone https://github.com/ggml-org/llama.cpp.git cd llama.cpp cmake -B build cmake --build build -j --target llama-app # Start a local OpenAI-compatible server with a web UI: ./build/bin/llama serve -hf shebxyd/aura-1b-edge:Q4_K_M # Run inference directly in the terminal: ./build/bin/llama cli -hf shebxyd/aura-1b-edge:Q4_K_M
Use Docker
docker model run hf.co/shebxyd/aura-1b-edge:Q4_K_M
- Llama new
- LM Studio
- Jan
- vLLM
How to use shebxyd/aura-1b-edge with vLLM:
Install from pip and serve model
# Install vLLM from pip: pip install vllm # Start the vLLM server: vllm serve "shebxyd/aura-1b-edge" # Call the server using curl (OpenAI-compatible API): curl -X POST "http://localhost:8000/v1/chat/completions" \ -H "Content-Type: application/json" \ --data '{ "model": "shebxyd/aura-1b-edge", "messages": [ { "role": "user", "content": "What is the capital of France?" } ] }'Use Docker
docker model run hf.co/shebxyd/aura-1b-edge:Q4_K_M
- Ollama
How to use shebxyd/aura-1b-edge with Ollama:
ollama run hf.co/shebxyd/aura-1b-edge:Q4_K_M
- Unsloth Desktop
- Docker Model Runner
How to use shebxyd/aura-1b-edge with Docker Model Runner:
docker model run hf.co/shebxyd/aura-1b-edge:Q4_K_M
- Lemonade
How to use shebxyd/aura-1b-edge with Lemonade:
Pull the model
# Download Lemonade from https://lemonade-server.ai/ lemonade pull shebxyd/aura-1b-edge:Q4_K_M
Run and chat with the model
lemonade run user.aura-1b-edge-Q4_K_M
List all available models
lemonade list
- Atomic Chat
Aura 1B Edge (Q4_K_M GGUF — v5 Conversacional + Escolar)
Built with Gemma. Modelo 4-bit GGUF (
Q4_K_M, ~768.7 MiB) derivado de Google Gemma 3 1B IT con ajuste fino LoRA en español para la aplicación móvil offline Aura (ramakofu-godeKofu_Mobile), optimizada para ejecutarse en dispositivos Android de gama de entrada y gama media bajo un presupuesto estricto total<= 2 GBde RAM (VmRSS <= 1850 MB).
Resumen del Modelo
| Característica | Detalle |
|---|---|
| Nombre | Aura 1B Edge (aura-1b-edge-q4_k_m.gguf, v5) |
| Arquitectura base | Google Gemma 3 1B Instruct (Gemma3ForCausalLM, 999.89M params) |
| Punto de partida HF | unsloth/gemma-3-1b-it (BF16) |
| Cuantización | Q4_K_M (llama.cpp 6.40 BPW) |
| Tamaño del archivo | 806,059,104 bytes (768.72 MiB) |
| SHA-256 | 75a721177159f8982f5ade9948e5611cd30503ea953f71432d460a02b6fc9eb4 |
| Idiomas | Español (principal) e Inglés |
| Entorno objetivo | Android ARM64 (llama.cpp, node7nm / node5nm), 100% offline |
Entrenamiento y Datos (v5)
Entrenado en Google Colab (NVIDIA A100-SXM4-80GB) usando PEFT (LoRA r=16, lora_alpha=16, lora_dropout=0.05 sobre proyecciones de atención y FFN) y TRL SFTTrainer con completion_only_loss=True en BF16 (1 época, 164 pasos, lr=6e-5, cosine, max_length=768), alcanzando train_loss = 1.2824 y mean_token_accuracy = 0.7104 sobre 1,127,033 tokens.
Conjuntos de datos (5,246 conversaciones)
- Conversación abierta y empatía (
2,200):FreedomIntelligence/alpaca-gpt4-spanish. - Programación, algoritmos, ciencia y razonamiento (
1,800):FreedomIntelligence/evol-instruct-spanish. - Matemáticas paso a paso (
750):ericrisco/gsm8k-translated-spanish. - Diálogos multi-turno en español (
350):timdettmers/openassistant-guanaco. - Identidad Aura offline, empatía y ortografía (
146): conversaciones curadas multi-turno y de identidad.
Formato de Prompt (Gemma 3 Chat Template)
<start_of_turn>user
¿Cómo te llamas, quién eres y necesitas internet?<end_of_turn>
<start_of_turn>model
Parámetros recomendados en llama.cpp / Aura Mobile
--temp 0.35–0.50en charla libre (0.25–0.35con RAG/matemáticas)--repeat-penalty 1.12(ventana32–64)- Caché KV cuantizada
Q8_0/Q8_0(swa_full=truepara Gemma 3 ISWA)
Créditos y Licencias
- Modelo Base: Google Gemma 3 1B IT (google/gemma-3-1b-it), vía unsloth/gemma-3-1b-it.
- Términos de Uso de Gemma: Sujeto a los Gemma Terms of Use (Built with Gemma).
- Herramientas:
ggml-org/llama.cpp,transformers,peft,trl,datasets. - Autores de Datasets:
FreedomIntelligence,ericrisco,timdettmers/ OpenAssistant.
- Downloads last month
- 118
4-bit