OneAlign / web /README.md
loveaa's picture
Publish Home Pulse v1.2 product documentation and App integration download
6d043e7 verified
|
Raw History Blame Contribute Delete
10.7 kB
# Home Pulse
家的消息,刚刚好。
## 入口
- App 模拟页:`http://127.0.0.1:7101/app`
- 桌面工作台:`http://127.0.0.1:7101/workspace`
- HF:`https://loveaa-onealign.hf.space/app` 与 `/workspace`
- 接口规范:`/api/v1/openapi.json`,当前 API 1.2.0
本地启动 `npm run dev`;jev 服务使用 `../imajev-lab/.venv/Scripts/python.exe ../imajev-lab/scripts/runtime.py --port 8765`。
生产构建使用 `npm run build`,云端后端打包使用 `node scripts/build-cloud.mjs`。
网页需要 HTTP API;不能直接双击 dist/index.html。
## 文档与 App 联调包
[HF 项目说明](https://huggingface.co/spaces/loveaa/OneAlign/blob/main/README.md) · [在线产品标准](https://huggingface.co/spaces/loveaa/OneAlign/blob/main/docs/v1.2/product-flow.md) · [App 接入指南](https://huggingface.co/spaces/loveaa/OneAlign/blob/main/docs/v1.2/app-integration.md) · [下载 App 联调包 v1.2](https://huggingface.co/spaces/loveaa/OneAlign/resolve/main/releases/home-pulse-app-integration-v1.2.zip?download=true)
## 当前流程
1. 用户说出关注;Kimi 结合当前图像、已确认记忆和设备能力理解需求。
2. 确认对象、范围与必要条件。模型推荐取图方式、确认次数、提醒类型和注意力等级,并说明理由。
3. 用户调整建议;准备阶段重新描述最终裁图,生成可校验的规则。
4. jev 试观察对象、区域和当前状态。状态任务可用一张当前图,只有看清才可启用。
5. 用户确认最终约定;可选择记住对象。
6. 设备事件或用户检查提供新图,jev 判断视觉状态,确定性引擎决定是否提醒。
7. 消息→证据→用户处理→后续画面确认恢复。用户处理和视觉恢复分别记录。
摄像头按事件提供画面;网页不自动每 1–3 秒抓图。播放素材本身不调用视觉模型。
定时检查仅向明确支持 scheduledCapture 的接入端开放,默认间隔 5 分钟。
15 秒心跳只更新连接元数据,不代表取图或录像。没有新画面时保留上次状态和时间。
小狗位置支持独立设置“围栏内暂时没看到”和“明确看到在围栏外”。
遮挡为 unknown;暂未看到不推断逃出;明确在外不推断离开路径。
确认按有效观察次数累计,未知会打断待确认序列,超过比较有效期后重建基线。
## 页面
| 页面 | 能力 |
| --- | --- |
| 家庭首页 | 对象分组、状态卡、关注消息、实际运行摘要 |
| Home Pulse AI | 需求对话、指认裁图、澄清、策略推荐、调整、试观察、最终确认 |
| 关注与详情 | 状态、事件画面、判断依据、耗时、历史、暂停、替换与删除 |
| 生活回顾 | 日期筛选、事件与证据回顾 |
| 对象记忆 | 参考裁图、复用、删除及依赖确认 |
| 消息与处理 | 读取、接手、用户完成、画面恢复 |
| 设备管控 | 实际能力、连接、关联关注、操作确认/执行/回执/验证 |
| 运行记录 | 捕获次数、请求成功/失败/未知、平均/P50/P95、决策耗时、逐次明细 |
视觉采用用户提供的冰蓝与淡紫背景、云朵形象、圆角卡片和浮动导航。
桌面与手机页共享 /api/v1 和空间凭据。手机页在宽屏附带实时接口联调栏。
原工作台 /studio、/events、/watches、/memories、/insights 等入口保留,可在“我的空间”进入。
原工作台的连续素材评估工具用于历史实验,不作为新 App 摄像头默认策略。
## 接口和数据
接入顺序及字段标准:`integration/APP联调指南.txt`。
设备操作参考:`integration/device-executor.mjs`;HTTP 客户端:`integration/home-pulse-client.mjs`。
Kimi 凭据仅由服务器读取。浏览器使用独立空间令牌,App 可通过同一令牌读取对应空间。
已确认对象、任务、状态、消息保存在服务端;最近三张证据最多保留 24 小时。
模型请求成功率与识别准确率分开,未知结果单独计数;无样本时显示“—”。
网页素材端和设备命令模拟端已接 API。真机仍需 App 用官方 SDK 适配,手机系统推送尚未连接。
HF 使用已授权复用的免费 CPU Space 与共享 jev GPU 服务,推理受访客额度和排队影响;磁盘为临时存储。
## 验证
`npm test`:接口、状态机、幂等、恢复、能力校验、事件快照与页面渲染。
`node scripts/verify-pulse-ui.mjs`:真实 Chrome 页面和手机宽度检查。
`PULSE_CONFIRM_RECORDED_DOG=1 node scripts/verify-pulse-flow.mjs`:使用已标注素材执行真实 Kimi + jev 页面闭环。
该脚本使用已人工检查的目标与区域作为联调输入;设备操作使用明确的模拟适配器。
最新结果见 `../tmp/pulse-ui-20261015/`;测试不是全场景识别准确率评估。
重构前代码:`../output/home-pulse-before-app-ui-20261015/`。下方保留历史评估,当前行为以以上说明和 API 1.2.0 为准。
## Kimi + jev 素材评估
2026-10-13 新素材评估位于 `../output/kimi-jev-evaluation-20261013/index.html`(可直接打开),完整说明见同目录 `测试报告.md`。
服务端从 `.env.local` 读取 `ANKER_KIMI_API_KEY`。模型使用赛事路由 `hackathon/v_model/kimi-k3`,`POST /api/plan` 接受 `{ "request": "中文需求", "context": {} }`,返回通过结构及部分语义校验的合同、耗时与用量。需要澄清的需求不自动启用。凭据不会返回浏览器。
本轮完整链路由实验脚本执行:Kimi 编译合同 → jev 观察实际视频帧 → `server/contract-engine.mjs` 决策。该轮评估时页面仍用原模板。2026-10-14 已通过下面的新设置流程接入页面运行器。
在本目录运行(生成计划会消耗赛事 API 额度):
```powershell
node scripts/evaluate-plans.mjs
node scripts/evaluate-vision.mjs
node scripts/evaluate-atoms.mjs
node scripts/replay-decisions.mjs
```
`evaluate-vision.mjs` 可通过 `HP_PLAN_DIR`、`HP_RUN_DIR`、`HP_MEDIA_MANIFEST` 指定已冻结的计划、结果目录与采样清单,并传入 `G11 G16` 等案例编号。已经完成的结果不会重复调用;中断的运行另存后重新执行。新版本应使用新的结果目录,保留前后对照。
报告由根目录 `evaluation/build_report.py` 从保存结果重新生成,无需模型调用。视频和模型原件保持原样。标签、原始失败、修订结果、参考标注审计和元数据勘误均在评估目录中。
## 2026-10-14:共同确认后再观察
入口:http://127.0.0.1:7101/create
1. 选择原有画面、新增的55段素材,或导入本地视频;在清楚的一刻说出需求。
2. Kimi 读取选定画面,提出目标框、观察区域和最多3个关键问题。
3. 用户调整红色目标框、绿色范围,确认具体对象或对象类别,并补齐条件。
4. Kimi 重新描述最终选区。小狗出笼、出门检查钥匙使用明确的观察项;其他需求由 Kimi 生成经过校验的通用合同。
5. jev 检查目标、区域,并对三个真实视频时刻试观察;不明确的结果不能直接启用。
6. 用户确认执行摘要后启用。选择记住时,保存对象图、完整参考图、范围、确认条件与时间;复用同一任务时保留已确认的条件。
7. 在观察页执行合同,保留视觉结果、通知、证据、请求耗时与纯规则决策耗时。改变来源需重新确认;倒放片段需要显式重开。
对象记忆位于 `.local/grounded/memory-*.json`;已确认任务、试观察、短期运行状态分别存放。浏览器仍保留原关注与历史,新任务保存合同编号与显示信息。收起对象记忆不会改写已启用任务的参考记录。
隐私页已更新:设置阶段的需求与选定登记图发给赛事 Kimi 服务;日常视频观察由本机 jev 执行。API 凭据仍仅在服务端。模型、原视频保持原样。
离家、天气、门铃目前由用户在观察页明确触发;钥匙任务表达为“触发出门检查时,钥匙仍在登记位置则提醒”。“原处未见”不会被改写成“已经随身携带”。连续视频观察在观察页开启;应用打开时会检查到点汇总,不依赖新画面到达。真机持续采集与外部事件接入仍沿用原连接范围。
服务端接口:`/api/setup/draft`、`prepare`、`trial`、`activate`;`/api/contracts/:id`、`observe`、`reset`、`preferences`、`notices`;`/api/memories` 与对象复用;`/api/media/catalog` 与视频导入。
验收材料:`../output/home-pulse-grounded-setup-20261014/`。包含浏览器截图、通用合同真实API检查、运行结果与安全检查。小狗案例走过真实的Kimi看图、手动修框、jev试观察、启用、记忆复用和连续观察;修复片尾取帧后生成1条出笼提醒。该案例成功不等于任意角度、任何宠物身份都已验证。
修改前源码备份:`../output/home-pulse-before-grounded-setup-20261014/`。
多标签页同步:关注、观察与通知变化通过浏览器存储事件同步;后台通知轮询先读取最新存档,本地引擎连接状态不再写回整份工作区,避免旧页面覆盖新证据。
确认任务另在服务端保留最近60条观察,其中最近3条附带证据图;页面打开时恢复这些记录。界面缓存使用版本号与跨标签页同步,刷新后能恢复最新结果。最终75项自动测试及构建通过。
## HF 在线体验(2026-10-14)
- 应用:https://loveaa-onealign.hf.space
- 源码:https://huggingface.co/spaces/loveaa/OneAlign/tree/main
- 经用户确认,复用原 OneAlign 免费 CPU Space。76 个旧文件及原提交保存在 `../output/hf-onealign-backup-20261014/`。
- Kimi 使用 HF Secret;imajev 使用作者公开 GPU Space 的 `/systemone` API,开启 calibration,保留访客的 HF 配额身份。
- 前端为现有 React 界面;规则引擎在 Node 中运行。每个浏览器的记忆、上传和统计通过随机空间凭据隔离。
- 云端源码位于 `../hf-space/`,打包与发布工具位于 `../deployment_tools/hf_publish.py`。上传清单排除 `.env.local`、本机记录、下载的权重与原始数据集。
- 免费空间的服务器文件为临时存储;记录可导出。连续观察期间需要保持观察页打开,共享 GPU 的排队和配额会影响实际采样间隔。
- 新建 ZeroGPU 被当前 HF 账号的实际 API 权限拒绝。`app_zerogpu.py` 保留将来自有 ZeroGPU 版本。