Spaces:
Sleeping
Sleeping
|
Download LLMRuntime/README.md from dellweb3/workos-office: direct link, hf CLI and curl.
- Browser
- Download file 2.64 kB
-
https://huggingface.co/spaces/dellweb3/workos-office/resolve/main/LLMRuntime/README.md
- Command line
-
hf download hf://spaces/dellweb3/workos-office/LLMRuntime/README.md
-
curl -L -o README.md https://huggingface.co/spaces/dellweb3/workos-office/resolve/main/LLMRuntime/README.md
2.64 kB
| # LLM Runtime | |
| 业务调用链:页面/API → AgentRuntime(输入契约、文件权限、工作流)→ LLMRuntime(规模评估、分片/汇总、阶段检查点)→ LLMGateway(凭据、模型路由、并发、上游请求与用量)→ 模型。 | |
| 所有业务调用使用 `Providers.execution.generate`;工作流与技能程序员注入同一个执行对象。管理员连接探针直接使用 Gateway。公文模板从 Gateway 迁到 Runtime 的 `draft`。 | |
| `plan(messages, task_kind)` 及鉴权接口 `POST /api/v1/workspaces/{id}/llm-plan` 不调用模型,返回字符规模、粗略 token 估计、分片数、最少调用数和策略。估计不是供应商 tokenizer 或费用报价。应用预算在 `policy.json` 中版本化,不代表模型上下文规格。 | |
| 默认单次预算24000字符、资料分片8000字符、任务上限180000字符,最多24个模型阶段、3层合并。固定系统规则不裁剪。短输入保持一次调用;长文按段落边界穷尽切分,记录起止位置与SHA-256,提取事实/数值/责任人/时间/短证据,再逐级合并,最后按原任务格式生成。会议原文由 `AgentRuntime.materials` 按附件权限直接读取,与知识库参考和历史分开;两个会议入口共用此契约。 | |
| 代码生成等原子任务超预算时返回功能拆分计划,不用通用摘要替代代码或严格分类输入。超总规模或固定提示预算时明确阻止,不静默截断。分片笔记不能保证语义零损失;会议节点继续验证行动项证据与原始文件,并保留人工核对。 | |
| `llmr_stage` 保存计划指纹和阶段结果,按租户、用户、事项、幂等键隔离。同键不同内容拒绝。已完成阶段可复用;已知限流等失败可从检查点恢复;上游结果未知或进程中断时不自动重复调用,避免重复计费。`execution` 返回计划、覆盖范围、阶段与汇总用量。消息流区分 Runtime 与 Gateway。 | |
| 生产数据库先执行 Alembic `upgrade head`(0012),再以 `WORKOS_WORKSPACE_AUTO_SCHEMA=0` 启动。开发演示沿用自动建表;Space检查点随访客数据库隔离。 | |
| 测试:`python base1/docs/test-llm-runtime.py`、`test-meeting-material.py`、`test-meeting-material-ui.py`。报告在 `base1/docs/meeting-artifacts/`,真实模型回归独立记录,替身测试不作为模型质量证明。 | |
| 意图识别使用 classification 策略:完整保留最新请求,只按预算逐条舍弃最旧的辅助历史,记录 omitted_history_messages;不会把分类任务变成长文摘要。普通问答的长资料仍走分片汇总。 | |