# Home Pulse 家的消息,刚刚好。 ## 入口 - App 模拟页:`http://127.0.0.1:7101/app` - 桌面工作台:`http://127.0.0.1:7101/workspace` - HF:`https://loveaa-onealign.hf.space/app` 与 `/workspace` - 接口规范:`/api/v1/openapi.json`,当前 API 1.2.0 本地启动 `npm run dev`;jev 服务使用 `../imajev-lab/.venv/Scripts/python.exe ../imajev-lab/scripts/runtime.py --port 8765`。 生产构建使用 `npm run build`,云端后端打包使用 `node scripts/build-cloud.mjs`。 网页需要 HTTP API;不能直接双击 dist/index.html。 ## 文档与 App 联调包 [HF 项目说明](https://huggingface.co/spaces/loveaa/OneAlign/blob/main/README.md) · [在线产品标准](https://huggingface.co/spaces/loveaa/OneAlign/blob/main/docs/v1.2/product-flow.md) · [App 接入指南](https://huggingface.co/spaces/loveaa/OneAlign/blob/main/docs/v1.2/app-integration.md) · [下载 App 联调包 v1.2](https://huggingface.co/spaces/loveaa/OneAlign/resolve/main/releases/home-pulse-app-integration-v1.2.zip?download=true) ## 当前流程 1. 用户说出关注;Kimi 结合当前图像、已确认记忆和设备能力理解需求。 2. 确认对象、范围与必要条件。模型推荐取图方式、确认次数、提醒类型和注意力等级,并说明理由。 3. 用户调整建议;准备阶段重新描述最终裁图,生成可校验的规则。 4. jev 试观察对象、区域和当前状态。状态任务可用一张当前图,只有看清才可启用。 5. 用户确认最终约定;可选择记住对象。 6. 设备事件或用户检查提供新图,jev 判断视觉状态,确定性引擎决定是否提醒。 7. 消息→证据→用户处理→后续画面确认恢复。用户处理和视觉恢复分别记录。 摄像头按事件提供画面;网页不自动每 1–3 秒抓图。播放素材本身不调用视觉模型。 定时检查仅向明确支持 scheduledCapture 的接入端开放,默认间隔 5 分钟。 15 秒心跳只更新连接元数据,不代表取图或录像。没有新画面时保留上次状态和时间。 小狗位置支持独立设置“围栏内暂时没看到”和“明确看到在围栏外”。 遮挡为 unknown;暂未看到不推断逃出;明确在外不推断离开路径。 确认按有效观察次数累计,未知会打断待确认序列,超过比较有效期后重建基线。 ## 页面 | 页面 | 能力 | | --- | --- | | 家庭首页 | 对象分组、状态卡、关注消息、实际运行摘要 | | Home Pulse AI | 需求对话、指认裁图、澄清、策略推荐、调整、试观察、最终确认 | | 关注与详情 | 状态、事件画面、判断依据、耗时、历史、暂停、替换与删除 | | 生活回顾 | 日期筛选、事件与证据回顾 | | 对象记忆 | 参考裁图、复用、删除及依赖确认 | | 消息与处理 | 读取、接手、用户完成、画面恢复 | | 设备管控 | 实际能力、连接、关联关注、操作确认/执行/回执/验证 | | 运行记录 | 捕获次数、请求成功/失败/未知、平均/P50/P95、决策耗时、逐次明细 | 视觉采用用户提供的冰蓝与淡紫背景、云朵形象、圆角卡片和浮动导航。 桌面与手机页共享 /api/v1 和空间凭据。手机页在宽屏附带实时接口联调栏。 原工作台 /studio、/events、/watches、/memories、/insights 等入口保留,可在“我的空间”进入。 原工作台的连续素材评估工具用于历史实验,不作为新 App 摄像头默认策略。 ## 接口和数据 接入顺序及字段标准:`integration/APP联调指南.txt`。 设备操作参考:`integration/device-executor.mjs`;HTTP 客户端:`integration/home-pulse-client.mjs`。 Kimi 凭据仅由服务器读取。浏览器使用独立空间令牌,App 可通过同一令牌读取对应空间。 已确认对象、任务、状态、消息保存在服务端;最近三张证据最多保留 24 小时。 模型请求成功率与识别准确率分开,未知结果单独计数;无样本时显示“—”。 网页素材端和设备命令模拟端已接 API。真机仍需 App 用官方 SDK 适配,手机系统推送尚未连接。 HF 使用已授权复用的免费 CPU Space 与共享 jev GPU 服务,推理受访客额度和排队影响;磁盘为临时存储。 ## 验证 `npm test`:接口、状态机、幂等、恢复、能力校验、事件快照与页面渲染。 `node scripts/verify-pulse-ui.mjs`:真实 Chrome 页面和手机宽度检查。 `PULSE_CONFIRM_RECORDED_DOG=1 node scripts/verify-pulse-flow.mjs`:使用已标注素材执行真实 Kimi + jev 页面闭环。 该脚本使用已人工检查的目标与区域作为联调输入;设备操作使用明确的模拟适配器。 最新结果见 `../tmp/pulse-ui-20261015/`;测试不是全场景识别准确率评估。 重构前代码:`../output/home-pulse-before-app-ui-20261015/`。下方保留历史评估,当前行为以以上说明和 API 1.2.0 为准。 ## Kimi + jev 素材评估 2026-10-13 新素材评估位于 `../output/kimi-jev-evaluation-20261013/index.html`(可直接打开),完整说明见同目录 `测试报告.md`。 服务端从 `.env.local` 读取 `ANKER_KIMI_API_KEY`。模型使用赛事路由 `hackathon/v_model/kimi-k3`,`POST /api/plan` 接受 `{ "request": "中文需求", "context": {} }`,返回通过结构及部分语义校验的合同、耗时与用量。需要澄清的需求不自动启用。凭据不会返回浏览器。 本轮完整链路由实验脚本执行:Kimi 编译合同 → jev 观察实际视频帧 → `server/contract-engine.mjs` 决策。该轮评估时页面仍用原模板。2026-10-14 已通过下面的新设置流程接入页面运行器。 在本目录运行(生成计划会消耗赛事 API 额度): ```powershell node scripts/evaluate-plans.mjs node scripts/evaluate-vision.mjs node scripts/evaluate-atoms.mjs node scripts/replay-decisions.mjs ``` `evaluate-vision.mjs` 可通过 `HP_PLAN_DIR`、`HP_RUN_DIR`、`HP_MEDIA_MANIFEST` 指定已冻结的计划、结果目录与采样清单,并传入 `G11 G16` 等案例编号。已经完成的结果不会重复调用;中断的运行另存后重新执行。新版本应使用新的结果目录,保留前后对照。 报告由根目录 `evaluation/build_report.py` 从保存结果重新生成,无需模型调用。视频和模型原件保持原样。标签、原始失败、修订结果、参考标注审计和元数据勘误均在评估目录中。 ## 2026-10-14:共同确认后再观察 入口:http://127.0.0.1:7101/create 1. 选择原有画面、新增的55段素材,或导入本地视频;在清楚的一刻说出需求。 2. Kimi 读取选定画面,提出目标框、观察区域和最多3个关键问题。 3. 用户调整红色目标框、绿色范围,确认具体对象或对象类别,并补齐条件。 4. Kimi 重新描述最终选区。小狗出笼、出门检查钥匙使用明确的观察项;其他需求由 Kimi 生成经过校验的通用合同。 5. jev 检查目标、区域,并对三个真实视频时刻试观察;不明确的结果不能直接启用。 6. 用户确认执行摘要后启用。选择记住时,保存对象图、完整参考图、范围、确认条件与时间;复用同一任务时保留已确认的条件。 7. 在观察页执行合同,保留视觉结果、通知、证据、请求耗时与纯规则决策耗时。改变来源需重新确认;倒放片段需要显式重开。 对象记忆位于 `.local/grounded/memory-*.json`;已确认任务、试观察、短期运行状态分别存放。浏览器仍保留原关注与历史,新任务保存合同编号与显示信息。收起对象记忆不会改写已启用任务的参考记录。 隐私页已更新:设置阶段的需求与选定登记图发给赛事 Kimi 服务;日常视频观察由本机 jev 执行。API 凭据仍仅在服务端。模型、原视频保持原样。 离家、天气、门铃目前由用户在观察页明确触发;钥匙任务表达为“触发出门检查时,钥匙仍在登记位置则提醒”。“原处未见”不会被改写成“已经随身携带”。连续视频观察在观察页开启;应用打开时会检查到点汇总,不依赖新画面到达。真机持续采集与外部事件接入仍沿用原连接范围。 服务端接口:`/api/setup/draft`、`prepare`、`trial`、`activate`;`/api/contracts/:id`、`observe`、`reset`、`preferences`、`notices`;`/api/memories` 与对象复用;`/api/media/catalog` 与视频导入。 验收材料:`../output/home-pulse-grounded-setup-20261014/`。包含浏览器截图、通用合同真实API检查、运行结果与安全检查。小狗案例走过真实的Kimi看图、手动修框、jev试观察、启用、记忆复用和连续观察;修复片尾取帧后生成1条出笼提醒。该案例成功不等于任意角度、任何宠物身份都已验证。 修改前源码备份:`../output/home-pulse-before-grounded-setup-20261014/`。 多标签页同步:关注、观察与通知变化通过浏览器存储事件同步;后台通知轮询先读取最新存档,本地引擎连接状态不再写回整份工作区,避免旧页面覆盖新证据。 确认任务另在服务端保留最近60条观察,其中最近3条附带证据图;页面打开时恢复这些记录。界面缓存使用版本号与跨标签页同步,刷新后能恢复最新结果。最终75项自动测试及构建通过。 ## HF 在线体验(2026-10-14) - 应用:https://loveaa-onealign.hf.space - 源码:https://huggingface.co/spaces/loveaa/OneAlign/tree/main - 经用户确认,复用原 OneAlign 免费 CPU Space。76 个旧文件及原提交保存在 `../output/hf-onealign-backup-20261014/`。 - Kimi 使用 HF Secret;imajev 使用作者公开 GPU Space 的 `/systemone` API,开启 calibration,保留访客的 HF 配额身份。 - 前端为现有 React 界面;规则引擎在 Node 中运行。每个浏览器的记忆、上传和统计通过随机空间凭据隔离。 - 云端源码位于 `../hf-space/`,打包与发布工具位于 `../deployment_tools/hf_publish.py`。上传清单排除 `.env.local`、本机记录、下载的权重与原始数据集。 - 免费空间的服务器文件为临时存储;记录可导出。连续观察期间需要保持观察页打开,共享 GPU 的排队和配额会影响实际采样间隔。 - 新建 ZeroGPU 被当前 HF 账号的实际 API 权限拒绝。`app_zerogpu.py` 保留将来自有 ZeroGPU 版本。