Instructions to use Focus695/life-archive-assistant-v3 with libraries, inference providers, notebooks, and local apps. Follow these links to get started.
- Notebooks
- Google Colab
- Kaggle
- Local Apps Settings
- llama.cpp
How to use Focus695/life-archive-assistant-v3 with llama.cpp:
Install (macOS, Linux)
curl -LsSf https://llama.app/install.sh | sh # Start a local OpenAI-compatible server with a web UI: llama serve -hf Focus695/life-archive-assistant-v3:Q4_K_M # Run inference directly in the terminal: llama cli -hf Focus695/life-archive-assistant-v3:Q4_K_M
Install from WinGet (Windows)
winget install llama.cpp # Start a local OpenAI-compatible server with a web UI: llama serve -hf Focus695/life-archive-assistant-v3:Q4_K_M # Run inference directly in the terminal: llama cli -hf Focus695/life-archive-assistant-v3:Q4_K_M
Build from source code
git clone https://github.com/ggml-org/llama.cpp.git cd llama.cpp cmake -B build cmake --build build -j --target llama-app # Start a local OpenAI-compatible server with a web UI: ./build/bin/llama serve -hf Focus695/life-archive-assistant-v3:Q4_K_M # Run inference directly in the terminal: ./build/bin/llama cli -hf Focus695/life-archive-assistant-v3:Q4_K_M
Use Docker
docker model run hf.co/Focus695/life-archive-assistant-v3:Q4_K_M
- Llama new
- LM Studio
- Jan
- vLLM
How to use Focus695/life-archive-assistant-v3 with vLLM:
Install from pip and serve model
# Install vLLM from pip: pip install vllm # Start the vLLM server: vllm serve "Focus695/life-archive-assistant-v3" # Call the server using curl (OpenAI-compatible API): curl -X POST "http://localhost:8000/v1/chat/completions" \ -H "Content-Type: application/json" \ --data '{ "model": "Focus695/life-archive-assistant-v3", "messages": [ { "role": "user", "content": "What is the capital of France?" } ] }'Use Docker
docker model run hf.co/Focus695/life-archive-assistant-v3:Q4_K_M
- Ollama
How to use Focus695/life-archive-assistant-v3 with Ollama:
ollama run hf.co/Focus695/life-archive-assistant-v3:Q4_K_M
- Unsloth Desktop
- Pi
How to use Focus695/life-archive-assistant-v3 with Pi:
Start the llama.cpp server
# Install llama.cpp: brew install llama.cpp # Start a local OpenAI-compatible server: llama serve -hf Focus695/life-archive-assistant-v3:Q4_K_M
Configure the model in Pi
# Install Pi: npm install -g @earendil-works/pi-coding-agent # Add to ~/.pi/agent/models.json: { "providers": { "llama-cpp": { "baseUrl": "http://localhost:8080/v1", "api": "openai-completions", "apiKey": "none", "models": [ { "id": "Focus695/life-archive-assistant-v3:Q4_K_M" } ] } } }Run Pi
# Start Pi in your project directory: pi
- Docker Model Runner
How to use Focus695/life-archive-assistant-v3 with Docker Model Runner:
docker model run hf.co/Focus695/life-archive-assistant-v3:Q4_K_M
- Lemonade
How to use Focus695/life-archive-assistant-v3 with Lemonade:
Pull the model
# Download Lemonade from https://lemonade-server.ai/ lemonade pull Focus695/life-archive-assistant-v3:Q4_K_M
Run and chat with the model
lemonade run user.life-archive-assistant-v3-Q4_K_M
List all available models
lemonade list
- Hermes Agent
How to use Focus695/life-archive-assistant-v3 with Hermes Agent:
Start the llama.cpp server
# Install llama.cpp: brew install llama.cpp # Start a local OpenAI-compatible server: llama serve -hf Focus695/life-archive-assistant-v3:Q4_K_M
Configure Hermes
# Install Hermes: curl -fsSL https://hermes-agent.nousresearch.com/install.sh | bash hermes setup # Point Hermes at the local server: hermes config set model.provider custom hermes config set model.base_url http://127.0.0.1:8080/v1 hermes config set model.default Focus695/life-archive-assistant-v3:Q4_K_M
Run Hermes
hermes
- Atomic Chat
- OpenClaw
How to use Focus695/life-archive-assistant-v3 with OpenClaw:
Start the llama.cpp server
# Install llama.cpp: brew install llama.cpp # Start a local OpenAI-compatible server: llama serve -hf Focus695/life-archive-assistant-v3:Q4_K_M
Configure OpenClaw
# Install OpenClaw: npm install -g openclaw@latest # Register the local server and set it as the default model: openclaw onboard --non-interactive --mode local \ --auth-choice custom-api-key \ --custom-base-url http://127.0.0.1:8080/v1 \ --custom-model-id "Focus695/life-archive-assistant-v3:Q4_K_M" \ --custom-provider-id llama-cpp \ --custom-compatibility openai \ --custom-text-input \ --accept-risk \ --skip-health
Run OpenClaw
openclaw agent --local --agent main --message "Hello from Hugging Face"
人生存档本地助手 v3 / Life Archive Assistant v3
为 LifeArchivePoint(人生存档) 训练的中文业务助手权重,基于 Qwen2.5-1.5B-Instruct,采用 LoRA 微调、融合和 Q4_K_M 量化。基座约 1.54B 参数;本版本保留原有生成架构,没有加入 NanoJev、Kev 或 Laya 决策头。
目标是把用户的生活记录请求转换为可校验的意图和字段。模型提议操作;App 负责真实数据查询、时间计算、字段校验、原生核对、执行回执及对话语句/卡片展示。模型定位为受控业务助手,不提供通用闲聊。
This is an application-specific Chinese structured-output fine-tune, not a general-purpose chat model. Use it with the matching application prompts, GBNF grammars, validators and native confirmation flow. It does not independently store records, access an archive, or execute tools.
文件与完整性
| 项目 | 值 |
|---|---|
| 文件 | life-archive-qwen2.5-1.5b-v3-q4_k_m.gguf |
| 格式 / 量化 | GGUF / Q4_K_M |
| 精确大小 | 986,048,352 bytes(约 986 MB / 940 MiB) |
| 基座 revision | 989aa7980e4cf806f80c7fef2b1adb7bc71aa306 |
| 采用检查点 | v3 step 360 |
| 发布者 | Focus695 |
SHA-256:
a1e66aa5d832e533fc9a7cd4a7c923c508bfad1ac29ed8f2fff8f869f28822a6
model-manifest.json 记录文件大小、散列和训练/转换版本。下载端应固定仓库提交版本并核对文件大小及 SHA-256,再交给 runtime 加载。
适用任务
- 识别新增记录、查询、修改未保存草稿、核对、取消与澄清等意图。
- 提取收支、耗时、笔记、待办的字段;金额证据必须能回到用户原文。
- 在 App 提供当前候选及待补问题时,处理“改成30元”“其实是昨晚”“26”等后续输入。
- 为查询、目录类型和超范围请求提供受限判断。真实汇总数字、查询结果身份及保存成功状态由 App 提供。
上下文由 App 持久化和装配,权重本身不保存跨会话记忆。相对日期由 App 按冻结时钟和时区计算。Space 自动创建不在此版本已交付能力内。
训练
只使用合成文字与应用协议,未使用个人档案。v3 共 1,434 条训练样本,按表达族划分原开发集 75 条、原锁定测试集 78 条;另有中间协议开发/测试各 22 条,不进入训练。v3 补入完整请求复核和类型目录协议,原开发/测试文件保持不变。
| 设置 | 值 |
|---|---|
| 方法 | LoRA,训练 16 层 |
| rank / scale / dropout | 8 / 16 / 0.05 |
| batch size / max sequence length | 4 / 1536 |
| learning rate / steps / seed | 0.00005 / 420 / 20261105 |
| loss mask | prompt 不计损失 |
| 环境 | Python 3.12.13、MLX-LM 0.32.2、MLX 0.32.4 |
120/240/360/420 四个检查点在合并 97 条开发例句上分别通过 79/89/91/90,选择 step 360。最终测试没有用于选择检查点。转换基于 llama.cpp d81d0d8fb95e52a66992bcfc212b1891b4d2f94a,先融合、转换为 f16 GGUF,再量化 Q4_K_M。
评估(2026-11-06)
同一冻结样本及评分脚本比较。评分检查 JSON 结构、关键字段、标题关键词及原文证据;不要求所有标题逐字一致。
| 检查 | 公开基座 | 业务 v3 |
|---|---|---|
| 原 78 条协议测试:MLX 贪心、无 grammar | 20/78 | 75/78 |
| 同 78 条:Q4_K_M、App 同形 GBNF | 54/78 | 76/78 |
| 额外 22 条中间协议:Q4_K_M、GBNF | 13/22 | 17/22 |
这些是特定合成协议检查,不是所有真实用户请求的成功率,也不是通用模型排名。78 条和 22 条属于两套检查,不能混称为一个通过率。App 还进行了六组真实权重回归(51 个测试,含 1024/2048 窗口参数运行)、iOS 17 与当前系统的模拟器 UI 流程及 arm64 Release 构建检查。
已知限制
- 两条多候选歧义测试中,模型可能把“随便改一个”错误分配给第一项;App 必须要求目标唯一,不能仅凭输出 index 执行。
- 额外协议中仍有五条误判,涉及消费查询的类型、把已保存记录修改误当新增、以及混合请求遗漏查询意图。
- GBNF 能约束完整输出格式,不能保证语义、金额、日期或目标正确。取消、截断或推理失败时应拒绝不完整结果。
- 不应将模型的自述当成已保存、已执行或已查询的证据。业务写入必须经过 App 的确认与版本检查。
- 本版本没有发布 iPhone 真机的延迟、峰值 RAM 或耗电测量。文件大小不等于运行内存,模拟器通过不代表所有真机均达到相同性能。
加载
使用支持 Qwen2 架构和 GGUF 的 llama.cpp 兼容 runtime。基座采用 ChatML 模板;保留 system/user 角色边界。App 使用 1024/2048 token 运行预算,应按实际模板计数,为 JSON 输出留出空间;训练序列长度和基座标称最大窗口不能替代端侧预算。
业务推理需配套应用的提示、GBNF 和字段/原文校验。直接把 GGUF 加载到普通聊天界面,不等于复现 LifeArchivePoint 的完整业务流程。本仓库的部署文件是融合权重,加载它不需要额外叠加 LoRA。
来源与许可
基于 Qwen 团队的 Qwen2.5-1.5B-Instruct。基座及本发布采用 Apache-2.0,完整文本见 LICENSE,改动和来源说明见 NOTICE。本发布对基座做了业务 LoRA 微调、融合及量化,没有重新预训练基座。
- Downloads last month
- 31
4-bit